단 35개의 문장 쌍으로 소수 언어 번역을 구현한 LLM Few-shot 학습 전략

Context

데이터셋이 극도로 부족한 소수 언어의 디지털 보존 한계 직면. 기존 LLM 학습 방식은 방대한 양의 병렬 코퍼스를 요구하는 구조. 실시간 번역 시스템 도입 이후 모국어 학습 동기 저하 및 언어 소멸 가속화 문제 발생.

Technical Solution

• Dartmouth College의 연구 프레임워크 기반 소량 데이터 학습 전략 채택
• GPT-4 Turbo와 같은 Large Language Model을 기본 엔진으로 활용하는 구조
• 타겟 언어와 공통 언어 간의 정교하게 큐레이션된 소수 문장 쌍(Sentence Pairs) 주입
• 언어의 내부 로직, 구문, 패턴을 학습하여 새로운 문장을 생성하는 Scaffold 방식 적용
• 복잡한 문법 구조를 가진 언어를 위해 학습 데이터셋을 50쌍까지 확장하는 최적화 과정
• 생성된 텍스트를 원어민이 검증하고 다시 피드백하는 휴먼-인-더-루프(Human-in-the-loop) 검증 체계

Impact

• 최소 35개의 문장 쌍만으로 학습 가능한 번역 모델 구현
• 실시간 번역 시스템 도입 후 의료 접수 시간 40% 단축

Key Takeaway

방대한 데이터 없이도 LLM의 패턴 인식 능력을 활용해 저자원 언어(Low-resource Language)의 디지털 복원이 가능함을 입증한 사례.