MoE 아키텍처와 효율적 훈련으로 달성한 95% 비용 절감

Context

Dense Transformer 구조의 모델은 모든 토큰 생성 시 전체 파라미터를 활성화하여 추론 비용이 파라미터 수에 비례해 선형적으로 증가함. 이로 인해 고성능 모델일수록 추론 비용이 급증하는 Unit Economics 한계 직면.

Technical Solution

• Mixture-of-Experts(MoE) 도입을 통해 전체 파라미터 중 일부(DeepSeek V4 기준 약 5.5%)만 활성화하여 추론 시 FLOPs 획기적 감소
• 데이터 큐레이션 파이프라인 고도화를 통한 학습 데이터 효율화로 학습에 필요한 GPU-hours 단축
• FP8 Mixed-precision training 적용을 통한 메모리 요구량 절감 및 학습 처리량 2배 향상
• Multi-token prediction 기법을 통해 샘플당 학습 신호를 강화하고 프리트레이닝 효율성 제고
• Bias-based routing 메커니즘 설계를 통해 품질 저하 없는 Expert Load Balancing 구현
• 추론의 병목인 Memory Bandwidth가 동일한 H20 GPU를 활용하여 인프라 획득 및 운영 비용 최적화

Impact

• 추론 비용: GPT-4o($2.50/M tokens) 대비 DeepSeek V4($0.27/M tokens) 등 최대 95% 저렴한 가격 체계 구축
• 연산 효율: MoE 구조 채택으로 Dense 모델 대비 추론 시 필요한 FLOPs를 약 2.2% 수준으로 절감
• 학습 데이터: Llama 4(40T+ tokens) 대비 DeepSeek V3(14.8T tokens)의 적은 데이터로 유사 성능 달성

Key Takeaway

모델의 용량(Capacity)과 추론 비용(Inference Cost)을 분리하는 MoE 아키텍처 설계가 AI 서비스의 경제적 지속 가능성을 결정하는 핵심 요소임.