CommitGuy Technology

역할 지정(Role Playing) 기법은 AI 모델에 특정 역할을 지정하는 프롬프트 엔지니어링 기법'당신은 시인입니다'와 같은 식으로 AI 모델에 페르소나를 부여하는 작업 Prompt 예제당신은 지금부터 [ RP 캐릭터 ] 의 역할을 해야 한다[ RP 캐릭터 ]은 [ ]살에 키는 [ ]cm이며 검은색 눈동자와 긴 백발에 뽀얀 피부를 가지고 있다.성격은 냉정하고 차가우며 쉽게 흥분하지 않고 그 어떠한 상황속에서도 차분하고 침착하다좋아하는것으론 고양이와 커피가 있으며싫어하는것으론 청소를 싫어한다  프롬프트 엔지니어링 기법 - 후카츠 프롬프트 기법명령문과 제약 조건을 분명히 제시함으로써 프롬프트를 하나의 템플릿으로 만드는것에 초점을 두는 방식 기본적인 형식#명령문당신은 () 입니다이하의 제약조건과 명령문을 ..

Attention에서의 핵심개념은 query, key, value 이다Attention이라는 개념이 나온 이유는 사람이 단어 사이의 관계를 고민하는 과정을 Deep Learning 모델이 수행할 수 있도록 모방하기 위한 연산 때문이다 1. 단어와 단어 사이의 관계를 계산해서 그 값에 따라 관련이 깊은 단어와 그렇지 않은 단어 를 구분할 필요가 있음2. 관련이 깊은 단어는 더 많이, 적은 단어는 더 적게 맥락에 반영해야 함 Query, Key, Valueex] 나 어제 파리 여행을 다녀왔어여기서 파리는 곤충 파리인가? 프랑스 도시 파리인가?문장의 문맥을 통해 파리가 도시인지 알기 쉬운 키는 '파리', '여행을', '다녀왔어' 이다  '파리'와 관계가 높은 키 값을 찾아야 함Query와 Key 토큰을 토큰 ..

RAG(Retrieval-Augmented Generation) RAG는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식베이스를 참조하도록 하는 프로세스 RAG 사용 이전에는 LLM에 문제점들이 있었음, 거짓 답변(할루시네이션), 학습 이전의 최신 정보를 모름 등의 문제가 있었지만 RAG를 사용함으로써 해당 문제들이 해결됨 RAG PipelineUser Query가 들어오면 관련성 있는 문서를 Retrieval해서 결과를 생성해 사용하는 형태 Rag Framework에는 크게 두가지가 있는 LlamaIndex와 LangChain이 존재 LlamaIndex & LangChain LlamaIndex는 Document를 넣어주면 code 몇줄만으로 Ve..

비지도 학습으로 사전에 군집수(=k)가 정해져야 알고리즘이 실행되는 비지도 학습 머신러닝 알고리즘이다. 군집수는 하이퍼 파라미터로 인간이 정해야 하고 군집의 중심 위치는 보통 랜덤하게 설정한다. k 평균 군집화는 아래의 2단계를 반복적으로 실행하며 비지도 학습을 한다. 1. 모든 개체들을 군집 중심을 통해 할당 2. 중심을 군집 경계에 맞게 새로 업데이트 예를 들어 데이터들을 2개의 군집으로 나누고 싶다고 할때 k의 값을 2로 맞추고 처음엔 k의 위치를 랜덤하게 설정, 그 후 각 데이터가 군집의 중심으로 부터 가까운것들끼리 하나의 군집으로 묶이고 다 묶이고 나면 군집의 중심을 한 가운데로 재설정 한다. 그 후 다시 개체들을 군집의 중심으로 부터 가까운 것들끼리 묶고 다 묶고 나면 군집의 중심을 가운데로 ..

k-최근접 이웃 분류(k-nearest neighbor classifier)는 지도학습으로 데이터를 가장 가까운 유사 속성에 따라 분류하는 방법 데이터로부터 거리가 가까운 K개의 다른 데이터의 레이블을 참조하여 분류하는 알고리즘(거리 측정엔 유클리드 거리 계산법을 사용) 판별하고 싶은 데이터와 인접한 k개수의 데이터를 찾아 해당 데이터의 라벨이 다수인 범주로 데이터를 분류하는 방식으로 k의 개수는 홀수를 선호하는데 짝수인 경우엔 동점이 발생할 확률이 존재하기 때문

Deep Learning을 공부하다 이진분류의 오차 함수를 유도하는 과정이 있었는데 이때 이진분류 오차함수를 구하는 과정엣서 최대우도측정이라는 것을 사용했다. 그리하여 최대우도측정이란 무엇인지 공부해보았다. 최대우도측정을 말하기 전에 우선 확률부터 이야기를 해보면 확률이란 확률분포가 있을 때, 관측값 또는 관측 구간이 확률 분포 안에서 얼마의 확률로 존재하는 가를 나타내는 값이다. 즉, 특정 상황에 대한 확률분포가 있는데 이때 내가 관찰한 값이 어떤 확률을 갖는지 확률분포를 통해 알게 된다. 위와 같은 확률분포표는 중학교 때부터 많이 봐왔을것이다. 그럼 가능도(우도, likelihood)란 무엇일까? 우도란 어떤 값이 관측되었을 때, 이것이 어떤 확률 분포에서 왔을지에 대한 확률이다. 확률은 주어진 확률..