Weight Update 없는 In-Context Learning을 통한 도메인 특화 LLM 최적화

Few-Shot Learning with LLM: A Deep Dive

shashank ms2026년 6월 17일4분intermediate

AI 요약

Context

모델 파라미터 업데이트를 위한 Fine-tuning 과정의 높은 데이터 요구량과 학습 파이프라인 구축 비용이 병목 지점으로 작용. 특히 데이터 규모가 작거나 모델 가중치 고정이 필요한 환경에서 신속한 Task 적응의 필요성 대두.

Technical Solution

In-Context Learning을 활용하여 Prompt 내 Task-specific Exemplars를 주입함으로써 Hidden-state Activation을 동적으로 조정하는 구조 설계
Zero-shot 대비 출력 포맷과 톤의 일관성을 확보하기 위해 3~10개의 Few-shot 예시를 배치하는 전략 채택
Recency Bias를 고려하여 가장 대표적이거나 난이도가 높은 예시를 Prompt 후반부에 배치하는 Ordering 최적화
데이터 불균형으로 인한 편향 방지를 위해 소수 클래스(Minority Class)를 Oversampling 하여 Coverage를 확보하는 설계 적용
복잡한 추론 Task 해결을 위해 중간 단계의 사고 과정을 포함하는 Chain-of-Thought 예시를 통한 문제 분해 유도
XML 태그 및 Markdown Code Fence 등 엄격한 Delimiter 사용을 통해 모델의 구조적 Prior 강화

실천 포인트

- 데이터 불균형 시 Prompt 내 소수 클래스 예시 비중 상향 조정 - 모델의 Recency Bias 대응을 위한 중요 예시의 후방 배치 또는 Random Shuffle 검토 - 출력 일관성 확보를 위해 동일한 공백과 구두점 패턴을 가진 Delimiter 적용 - 추론 정확도 향상을 위해 단순 Input-Output 쌍이 아닌 reasoning 단계가 포함된 CoT 예시 설계

태그

#Chain-of-Thought #In-Context-Learning #Prompt Engineering #Recency Bias #Few-Shot Learning

원문 읽기