3B 파라미터로 Opus 4.5 추론 성능을 능가한 SFT+GRPO 최적화

Context

모델 크기가 성능을 결정한다는 기존의 'Bigger is Better' 패러다임으로 인한 과도한 컴퓨팅 리소스 소모 발생. 거대 모델의 높은 추론 비용과 인프라 진입 장벽을 해결하기 위한 효율적인 학습 방법론의 필요성 증대.

Technical Solution

• 양보다 질을 우선한 데이터 큐레이션을 통한 Targeted SFT 수행
• 다양한 난이도의 Chain-of-Thought 솔루션으로 구성된 고품질 데이터셋 활용으로 기초 추론 패턴 형성
• 별도의 Value Model 없이 그룹 내 출력값들을 상대 비교하는 GRPO 도입으로 학습 효율 극대화
• SFT로 습득한 기본 추론 구조를 GRPO의 자기 비교 강화 학습으로 정교화하는 2단계 파이프라인 구축
• 파라미터 수 최소화와 학습 방법론 고도화를 통해 모델 크기와 성능 간의 상관관계 분리