Deeplearning 2

RAG Pipeline과 LlamaIndex, LangChain 간략소개

RAG(Retrieval-Augmented Generation) RAG는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식베이스를 참조하도록 하는 프로세스 RAG 사용 이전에는 LLM에 문제점들이 있었음, 거짓 답변(할루시네이션), 학습 이전의 최신 정보를 모름 등의 문제가 있었지만 RAG를 사용함으로써 해당 문제들이 해결됨 RAG PipelineUser Query가 들어오면 관련성 있는 문서를 Retrieval해서 결과를 생성해 사용하는 형태 Rag Framework에는 크게 두가지가 있는 LlamaIndex와 LangChain이 존재 LlamaIndex & LangChain LlamaIndex는 Document를 넣어주면 code 몇줄만으로 Ve..

AI/LLM 2024.11.25

최대우도측정(Likelihood Maximization)

Deep Learning을 공부하다 이진분류의 오차 함수를 유도하는 과정이 있었는데 이때 이진분류 오차함수를 구하는 과정엣서 최대우도측정이라는 것을 사용했다. 그리하여 최대우도측정이란 무엇인지 공부해보았다. 최대우도측정을 말하기 전에 우선 확률부터 이야기를 해보면 확률이란 확률분포가 있을 때, 관측값 또는 관측 구간이 확률 분포 안에서 얼마의 확률로 존재하는 가를 나타내는 값이다. 즉, 특정 상황에 대한 확률분포가 있는데 이때 내가 관찰한 값이 어떤 확률을 갖는지 확률분포를 통해 알게 된다. 위와 같은 확률분포표는 중학교 때부터 많이 봐왔을것이다. 그럼 가능도(우도, likelihood)란 무엇일까? 우도란 어떤 값이 관측되었을 때, 이것이 어떤 확률 분포에서 왔을지에 대한 확률이다. 확률은 주어진 확률..

AI/DeepLearning 2021.09.09