코드 생성 성능을 향상시키는 놀라울 만큼 단순한 자기 증류 기법

Context

코드 생성 과정에서 창의적 분기가 필요한 'fork' 지점과 구문적 정확성이 필수인 'lock' 지점이 공존하는 특성. 기존 LLM은 두 지점에서 동일한 연산량을 소모하며 최적 토큰 선택에 어려움을 겪는 구조.

Technical Solution

• Simple Self-Distillation(SSD) 기법을 통한 최적 토큰 순위 개선 전략
• 별도의 정답 검증이나 외부 품질 평가 없이 벤치마크 입력에 대한 모델 자체 출력값을 학습 데이터로 재사용하는 방식
• 정밀도와 탐색(precision–exploration) 간의 갈등을 해소하여 구문적 정확성과 창의적 생성 능력을 동시에 확보하는 설계
• 실시간 temperature 조정이나 fork/lock 지점의 명시적 예측 없이도 성능 향상을 유도하는 단순한 학습 메커니즘
• 디코딩 설정(temperature, top-k) 최적화를 통해 원본 모델 대비 향상된 결과물을 생성하는 구조

Key Takeaway

복잡한 이론적 설계보다 단순한 자기 출력 기반의 피드백 루프가 모델의 기초 패턴을 강화하고 고차원적인 생성 능력을 끌어올리는 효율적인 방법임.