FP8 Mixed Precision과 MoE 기반 671B 파라미터 효율적 구현

Context

초거대 모델의 추론 비용 상승과 KV-cache 메모리 병목 현상으로 인한 확장성 한계 직면. 기존 MoE 구조의 Auxiliary loss로 인한 모델 품질 저하 및 FP8 학습의 불안정성 해결 필요.

Technical Solution

• 256개 Expert 중 8개만 활성화하는 MoE 구조 설계로 토큰당 연산 파라미터를 37B로 최적화
• Multi-head Latent Attention(MLA) 적용을 통한 KV-cache 저차원 압축으로 128K Context Window 메모리 효율 확보
• Auxiliary-loss-free 전략 도입을 통한 전문가 부하 분산과 모델 출력 품질 간의 Trade-off 제거
• 연산 민감도에 따라 FP8과 고정밀도를 선택 적용하는 Mixed Precision Framework 구축으로 학습 안정성 확보
• 알고리즘과 하드웨어 co-design을 통한 Computation-Communication Overlap 구현으로 Cross-node 통신 병목 해소
• Multi-Token Prediction(MTP) 목적 함수 설계를 통한 추론 단계의 Speculative Decoding 기반 생성 속도 향상