0.11$/M 토큰의 초저가 비용과 MoE 기반 효율성을 갖춘 80B 코딩 에이전트

Context

기존 Dense 모델의 전 파라미터 활성화 방식에 따른 과도한 연산 비용과 하드웨어 리소스 소모 문제를 해결해야 함. 특히 Agentic loop의 반복적인 토큰 소비로 인한 API 비용 급증이 실무 도입의 주요 병목 지점으로 작용함.

Technical Solution

• 80B 전체 파라미터 중 3B만 활성화하는 Hybrid Attention 및 Mixture-of-Experts(MoE) 구조 설계
• 토큰별 관련 전문가 레이어로 라우팅하는 메커니즘을 통해 3B Dense 모델 수준의 연산량으로 80B 규모의 지식 활용
• 80만 건의 실제 GitHub PR 기반 검증 데이터와 실행 가능 환경을 통한 Reinforcement Learning 적용
• 50~300회의 연속적 Action 수행이 가능한 Multi-turn Tool Use 최적화 학습
• YaRN 기법을 통한 Native 256K 컨텍스트 확장 및 최대 1M 토큰 처리 능력 확보
• GGUF 양자화를 통한 24GB VRAM GPU 및 System RAM Offloading 기반 로컬 배포 구조 지원

Impact

• SWE-bench Verified 70.6% 달성 및 Input 토큰당 0.11$/M의 극단적 저비용 실현
• Claude Sonnet 4.6 대비 Input 토큰 비용 약 27배 절감
• Q4_K_M 양자화 적용 시 단일 RTX 4090(24GB) 환경에서 40~60+ TPS 성능 확보
• 1달러당 약 1,200회의 에이전트 세션(150K 토큰 기준) 운용 가능한 경제성 제공

Key Takeaway

모델의 절대적 성능(Benchmark)보다 특정 태스크(Routine Maintenance)에 최적화된 MoE 구조와 비용 효율성의 조합이 실제 서비스 아키텍처의 ROI를 결정함.