RAG Pipeline과 LlamaIndex, LangChain 간략소개

RAG(Retrieval-Augmented Generation)

 RAG는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식베이스를 참조하도록 하는 프로세스

 RAG 사용 이전에는 LLM에 문제점들이 있었음, 거짓 답변(할루시네이션), 학습 이전의 최신 정보를 모름 등의 문제가 있었지만 RAG를 사용함으로써 해당 문제들이 해결됨

 

RAG Pipeline

Rag Pipeline

User Query가 들어오면 관련성 있는 문서를 Retrieval해서 결과를 생성해 사용하는 형태

 

Rag Framework에는 크게 두가지가 있는 LlamaIndex와 LangChain이 존재

 

LlamaIndex & LangChain

LangChain vs LlamaIndex

 

LlamaIndex는 Document를 넣어주면 code 몇줄만으로 VectorIndex도 만들어지고 Retrieval도 만들어주고 답변도 자동으로 생성해줌

LangChain도 LlamaIndex와 마찬가지로 RAG Pipeline으로 code 몇줄 만으로 잘 생성해줌 그러나 Langchain의 경우 다양한 도구들이 존재

 

LangChain

LlamaIndex와 다르게 프로그램을 구축하는데 유연한 선택지를 제공함