3B Active 파라미터 기반 30B급 성능 구현한 GLM 4.7 Flash

Context

거대 언어 모델의 성능 향상에 따른 VRAM 요구량 증가와 추론 속도 저하 문제 발생. 기존 Dense 모델 구조로는 제한된 하드웨어 자원에서 고성능 추론과 에이전트 기능을 동시에 구현하는 데 한계 존재.

Technical Solution

• 30B Total 파라미터 중 토큰당 3B만 활성화하는 MoE Architecture 채택을 통한 추론 효율 극대화
• Q4_K_M 양자화 적용으로 VRAM 사용량을 6-8GB 수준으로 최적화하여 보급형 GPU 접근성 확보
• Multi-turn Tool Interaction 중 Chain-of-Thought를 유지하는 Preserved Thinking 모드 설계
• Tool Calling 및 다단계 추론 최적화를 통한 Agentic Task 처리 능력 강화
• MIT 라이선스 기반의 오픈 소스 제공으로 상업적 튜닝 및 배포 제약 제거

Impact

• SWE-bench Verified 59.2% 달성으로 Qwen3-30B-A3B 대비 약 3배의 성능 향상
• AIME 25 91.6% 기록을 통한 GPT-class 모델 수준의 수학적 추론 능력 증명
• $\tau^2$-Bench 79.5% 달성으로 에이전트 작업 수행 능력의 비약적 개선
• Q2_K 양자화 시 VRAM 3-4GB 수준의 초경량 구동 환경 제공

Key Takeaway

전체 파라미터 규모는 유지하되 활성 파라미터를 최소화하는 MoE 구조가 하드웨어 제약 환경에서 High-fidelity 추론을 구현하는 핵심 전략임.