IndexShare 기반 compute FLOPs 2.9배 절감 및 1M context 확보

Context

대규모 코드베이스 분석 시 Attention mechanism의 재계산으로 인한 과도한 연산 비용 발생. 기존 LLM의 제한적인 context window와 높은 추론 비용으로 인한 Long-Horizon coding 작업의 경제적/기술적 한계 존재.

Technical Solution

• IndexShare 도입을 통한 4개의 sparse attention layer 간 동일 indexer 공유 구조 설계
• Per-token compute FLOPs를 2.9배 감소시켜 1-million-token context window의 경제적 운용 가능케 함
• MTP(Multi-Token Prediction) layer 기반 Speculative Decoding 적용으로 추론 시 accepted token length 20% 향상
• Thinking Mode(Max/High) 설계를 통한 추론 리소스와 지능 간의 동적 트레이드오프 제공
• MIT License 기반 Open-Weights 배포를 통한 Vendor lock-in 제거 및 Sovereign Infrastructure 구축 지원

Impact

• SWE-bench Pro 62.1점 기록으로 GPT-5.5(58.6점) 대비 우위 확보
• PostTrainBench 34.3% 달성으로 GPT-5.5(25.0%) 대비 성능 개선
• API 비용을 GPT-5.5 대비 1/6 수준으로 절감
• 'High' 모드 적용 시 'Max' 모드 대비 성능 손실 최소화하며 출력 토큰 수 50% 감소

Key Takeaway

초거대 모델의 효율성은 단순 파라미터 증설이 아닌 IndexShare와 같은 구조적 연산 최적화와 MTP 기반의 추론 가속화의 결합으로 결정됨.