Apache 2.0 라이선스 기반 31B Dense 모델의 파라미터 효율 극대화 및 Multimodal Agent 구현

Context

기존 오픈 모델들의 제한적인 라이선스와 하드웨어 제약으로 인한 Edge 디바이스 배포의 어려움 존재. 특히 모델 크기와 추론 성능 사이의 Trade-off로 인해 고성능 추론과 저전력 환경 동시 충족에 한계가 있었음.

Technical Solution

• 추론 속도 최적화를 위해 26B MoE 구조를 채택하여 Inference 시 3.8B 파라미터만 활성화하는 Sparse Architecture 설계
• 고정밀 추론이 필요한 워크로드를 위해 일관된 Per-token cost를 보장하는 31B Dense 모델 라인업 구성
• Edge 모델(2B, 4B)에 Audio Input 기능을 네이티브로 통합하여 Mobile 및 IoT 환경의 저전력 멀티모달 처리 구현
• 256K Context Window 확장을 통한 대규모 코드 저장소 및 장문 문서의 단일 프롬프트 처리 가능 구조 설계
• Function-calling 및 Structured JSON Output 지원으로 외부 API 연동이 가능한 Autonomous Agent 기반 마련
• NVFP4 Quantization 적용을 통한 메모리 점유율 감소 및 NVIDIA 하드웨어 가속 최적화

Impact

• 31B Dense 모델의 GPQA Diamond 점수 84.3% 달성으로 전작(42.4%) 대비 약 2배의 과학적 추론 성능 향상
• LiveCodeBench v6에서 80.0%의 정답률을 기록하며 코드 생성 능력 강화
• LLMArena(Text only) score 1452 달성으로 3~5배 더 큰 모델과 대등한 성능 지표 확보

Key Takeaway

모델의 단순 파라미터 증설보다 MoE와 Dense 구조의 전략적 분리를 통한 Workload별 최적화가 효율적임. 또한 기술적 성능만큼이나 Apache 2.0과 같은 개방적 라이선스와 vLLM, llama.cpp 등 에코시스템과의 Frictionless Integration이 실제 채택률을 결정하는 핵심 요소임.