LLM을 활용한 질의 응답 방식
문맥 내 학습을 통한 질의 이해 및 답변 생성
- 문맥 내 학습(In-context Learning): LLM의 가장 혁신적인 특징 중 하나
- 별도의 명시적인 파인튜닝 없이, 주어진 프롬프트 내의 몇 가지 예시 또는 지시만으로 LLM이 새로운 질의를 이해하고 적절한 답변을 생성하는 방식
1. 작동 원리
1단계: 프롬프트 구성 (Prompt Construction)
- 사용자의 질의 + LLM에게 질의의 의도를 명확히 전달하기 위한 문맥 정보를 담은 프롬프트 구성
- 포함 요소
- 지시(Instruction)
- LLM이 수행해야 할 작업 명시
- “다음 질문에 답하세요.”, “요약해주세요.” 등
- 예시(Demonstration/Few-shot Examples)
- 질의-응답 쌍의 형태로 제공
- LLM이 원하는 답변 형식을 학습하도록 지원
- 몇 개의 예시만으로도 놀라운 성능을 보이기도 함
- 사용자 질의(User Query)
- 구성된 프롬프트 전체가 LLM의 입력으로 제공됨
- LLM은 이 긴 텍스트 시퀀스를 내부적으로 처리
- LLM의 수많은 파라미터와 어텐션 메커니즘이 작동
- 프롬프트 내의 다양한 정보를 이해, 연결
- LLM은 제공된 예시들을 통해 다음 항목들을 암묵적으로 학습
- 질의의 유형, 원하는 답변 형식, 관련 지식 등
3단계: 답변 생성 (Answer Generation)
- 입력된 프롬프트와 학습된 내용을 바탕으로 사용자 질의에 대한 답변 생성
- 생성 과정
- 일반적으로 다음 단어를 예측하는 방식으로 순차적으로 처리됨
- LLM은 현재까지 생성된 텍스트를 기반으로 다음에 올 가장 가능성 높은 단어를 확률적으로 선택함
- 문맥 내 학습을 통해 프롬프트에 제시된 스타일, 형식, 특정 도메인의 지식까지 반영하여 답변 생성
2. 핵심 특징
- 장점
- 별도의 데이터 수집 및 파인튜닝 과정 불필요 → 빠르게 다양한 작업에 적용 가능
- 새로운 유형의 질문이나 작업에 대한 적응력이 뛰어남
- 단점
- 제공되는 예시의 품질과 내용에 따라 성능이 크게 달라질 수 있음
- 매우 복잡하거나 전문적인 지식을 요구하는 질의에 대해서는 한계가 있을 수 있음
- 프롬프트의 길이가 제한될 수 있음
3. 활용 예시
- ChatGPT와 같은 모델에서 사용자가 직접 다양한 지시와 예시를 제공하여 원하는 답변을 얻는 방식
