DeepSeek v4 출시

Context

거대 언어 모델의 파라미터 증가에 따른 추론 비용 상승과 연산 효율성 저하 문제 해결 필요. 모델 크기 확대와 실시간 응답 성능 사이의 Trade-off 최적화가 핵심 과제로 작용.

Technical Solution

• Mixture-of-Experts(MoE) 구조 채택을 통한 연산 효율 극대화
• DeepSeek-V4-Pro 모델에 1.6T 전체 파라미터 중 49B만 활성화하는 Sparse Activation 설계
• DeepSeek-V4-Flash 모델에 284B 파라미터 중 13B만 활성화하는 경량화 아키텍처 적용
• 모델 규모별 활성 파라미터 제어를 통한 추론 Latency 감소 및 Throughput 향상
• 하드웨어 자원 제약 내에서 모델 용량을 확장하기 위한 Parameter 효율화 전략 수립