MoE 기반 2T 파라미터 모델의 17B 수준 추론 효율 달성

Context

거대 모델의 방대한 지식 습득 필요성과 실제 추론 시 발생하는 높은 VRAM 요구량 간의 상충 관계 발생. Dense 모델 구조의 한계로 인해 모델 규모 확대 시 추론 속도 저하와 하드웨어 비용 상승이 불가피한 상황.

Technical Solution

• Mixture of Experts(MoE) 아키텍처 도입을 통한 추론 시 활성 파라미터 최적화
• 전체 파라미터 규모를 최대 2T까지 확장하면서도 토큰당 활성 파라미터를 ~17B로 제한하여 추론 속도 유지
• Expert 수의 차별화(Scout 16개 vs Maverick 128개)를 통한 지식 너비와 리소스 효율의 Trade-off 제어
• Q4 양자화를 통한 최소 VRAM 요구량을 10GB 수준으로 낮춰 Consumer GPU 환경의 접근성 확보
• 128K Long Context 지원을 통한 대규모 데이터 처리 능력 확보 및 어텐션 메커니즘 최적화

Impact

• RTX 4090 기준 Llama 4 Scout 모델의 추론 속도 약 45 tok/s 달성
• Maverick 모델의 MMLU-Pro 72.1 및 HumanEval 79.3 기록으로 고도의 지식 처리 능력 증명
• 2T 파라미터 규모의 지식을 보유함에도 17B 모델 수준의 빠른 응답성 유지

Key Takeaway

모델의 전체 용량(Knowledge Capacity)과 실제 추론 시 연산량(Compute Cost)을 분리하는 MoE 설계의 효용성 확인. 특정 도메인 특화 성능이 필요할 때 전체 파라미터를 늘리기보다 Expert의 수를 조정하여 효율적인 Scaling 전략 수립 가능.