Kanana-2 개발기 (2): 개선된 post-training recipe를 중심으로

Context

언어모델의 Post-training 전에 고품질 영어 추론 데이터를 집중적으로 학습시킬 때, AIME 같은 수학 벤치마크에서는 성능이 크게 향상되지만 KoMT-bench 같은 한국어 벤치마크에서는 성능이 급격히 하락하는 치명적 망각 현상이 발생했다. 이는 특정 언어와 스타일의 훈련 분포 편향으로 인한 능력 편향이었으며, Mid-training 단계에서 추론 능력과 기존 언어 능력의 균형을 맞춰야 할 필요성이 대두되었다.

Technical Solution

• Mid-training 단계 도입: Pre-training 완료 후 Post-training 이전에 추론 능력 강화를 위한 별도의 훈련 단계를 추가해 모델이 특정 능력을 효과적으로 습득하도록 기반을 다짐
• 고품질 추론 데이터셋 구축: 수학, 코드, 도구, 일반 대화 등 다양한 도메인에서 Chain-of-Thought가 명확하게 담긴 200B 토큰 규모의 영어 추론 데이터셋 확보
• Pre-training 데이터 리플레이 전략: Mid-training 데이터셋에 50B 토큰 규모의 한국어를 포함하는 Pre-trained 데이터를 일정 비율로 섞어 학습해 치명적 망각 현상 방지
• 최적 데이터 구성비: 200B의 고품질 영어 추론 데이터와 50B의 Pre-trained 리플레이 데이터를 총 250B 규모로 구성해 Reasoning 능력 극대화와 기존 언어 능력 유지의 균형 달성
• 다단계 Post-training 적용: Mid-training된 모델에 Instruct SFT와 Thinking SFT를 순차적으로 적용해 도구 호출과 지시 이행 능력 강화

Impact

• AIME24 성능: 9.21% → 53.21% (44.00%p 향상)
• AIME25 성능: 11.71% → 44.61% (32.90%p 향상)
• Mid-training 후 Instruct SFT 적용 시 MATH 성능: 74.30% → 81.26% (6.96%p 향상)
• Mid-training 후 Instruct SFT 적용 시 HumanEval+ 성능: 76.22% → 78.66% (2.44%p 향상)
• Mid-training 후 Instruct SFT 적용 시 MBPP+ 성능: 71.16% → 73.02% (1.86%p 향상)
• Base 모델 대비 Mid-training된 모델의 Thinking SFT 훈련 수렴 속도: 훈련 초기 구간부터 압도적 우위 확보
• MT-bench 성능: 8.14 → 8.39 (0.25 향상)
• KoMT-bench 성능: 7.81 → 8.02 (0.21 향상)
• IFEval 성능: 75.60 → 79.11 (3.51 향상)

Key Takeaway

고성능 추론 능력을 추가할 때 특정 도메인 데이터에 편향된 훈련은 기존 언어 능력을 훼손할 수 있으므로, Mid-training 단계에서 새로운 능력 데이터와 기존 Pre-training 데이터를 명시적으로 혼합 학습해야 한다. 이러한 데이터 분포 균형 관리가 다목적 언어모델의 성능을 최대화하는 핵심이다.