Retrieval-Augmented Generation : RAG 란 ?

RAG의 중요성이 대두되는 만큼 RAG가 무엇이고, 그 플로우를 정리해보려고 한다.

 

1. RAG란?

RAG 란 Retrieval-Augmented Generation으로 번역하자면 검색증강생성 으로서,

LLM의 모델들이 가지고 있는 문제들을 개선하기 위한 기법이다.

 

RAG 가 어떤 문제를 해결하는지 알기 위해서 먼저 LLM을 가볍게 살펴보고자 한다.

 

2. LLM

LLM 은 Large Language Model 로, 거대 언어 모델을 말한다.

거대하다를 정의하는 것에 있어서는 여러 의견이 있지만 이 페이지 를 기준으로 얘기해보자면,

 

   1. 개인이 감당할 수 없는 사이즈

   2. 개인의 접근이 어려운 데이터

   3. 추론 능력의 여부

 

를 가진 모델을 LLM이라고 부를 수 있다.

거대 언어 모델 (Large Language Model)에 대한 이해 — LLM의 기준과 특징은 무엇일까?

 

LLM은 이미 일정 수준 이상에 도달해서 수많은 장점들이 있지만 아쉽게도 단점 또한 아직 존재한다.

그 중 몇가지를 말해보자면 아래와 같다.

  1. Hallucination (환각현상)

      - 실제로는 없거나 사실이 아닌 일을 사실인 것 처럼 생성하는 현상이다.

      - 예시로 '조선왕조실록의 세종대왕 맥북프로 사건' 이 있다.

출처 : 한국일보

      - 이렇게 그럴듯하게 만들어진 답변은 맞는 답이 아니기에 내가 잘 모르는 도메인에서 이렇게 답변을 받는다면 깜빡 속기 쉬운 듯 하다.

  2. Current Knowledge

      - LLM은 그 데이터의 크기가 굉장히 크기 때문에 학습의 시간이 오래 걸린다.

      - 그로 인해 최신, 혹은 현재 정보가 반영 되기가 쉽지 않다.

  3. Closed-domain Knowledge

      - LLM에서 각자 개개인에 맞는 private한 데이터로 학습되는 것이 아니기 때문에 세밀한 영역의 질문에 대한 답은 얻기가 힘들다.

3. RAG 를 통해 개선하는 방법

RAG 플로우

RAG 플로우는 위의 그림과 같다. LLM 모델과 Knowledge Sources 를 함께 활용하는 형태인데,

  1. 사용자가 Query를 날릴 경우, 바로 모델에서 답을 찾아오는 것이 아닌 Knowledge Sources 에서 관련된 내용 검색을 먼저 실행한다.

  2. LLM 모델에는 사용자가 날린 Query 와 Knowledge Sources 에서 찾은 관련 정보가 더해져서 Input 으로 들어가게 된다.

  3. LLM 모델은 추가 정보를 습득하여 조금 더 나은 답을 내놓는다.

 

플로우에서 '추가 정보를 습득' 함으로써, 정보가 업데이트 되어 LLM 모델의 정확성과 유연성을 높여준다.

RAG도 부족한 부분이 있기 때문에 환각현상을 아예 없애주지는 못하지만, 추가 데이터들을 사용하는 만큼 위의 문제점들을 개선할 수 있다.

 

 

 

 

 

참조

• https://www.skelterlabs.com/blog/2024-year-of-the-rag

Skelter Labs Blog - 2024 Year Of The RAG :: RAG가 주목 받는 이유와 미래 동향

• https://medium.com/@hugmanskj/%EA%B1%B0%EB%8C%80-%EC%96%B8%EC%96%B4-%EB%AA%A8%EB%8D%B8-large-language-model-%EC%97%90-%EB%8C%80%ED%95%9C-%EC%9D%B4%ED%95%B4-llm%EC%9D%98-%EA%B8%B0%EC%A4%80%EA%B3%BC-%ED%8A%B9%EC%A7%95%EC%9D%80-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C-0551b7b9d3bd

거대 언어 모델 (Large Language Model)에 대한 이해 — LLM의 기준과 특징은 무엇일까?

• https://blog-ko.superb-ai.com/what-is-rag-to-make-generative-ai-smarter/https://moon-walker.medium.com/llm%EC%97%90-halluciation-%ED%99%98%EA%B0%81-%EC%9D%B4-%EB%B0%9C%EC%83%9D%ED%95%98%EB%8A%94-%EC%9B%90%EC%9D%B8%EA%B3%BC-%ED%95%B4%EA%B2%B0%EB%B0%A9%EC%95%88-f18759f0a959

생성형 AI를 똑똑하게 해주는 검색증강생성(RAG)란?