전용 모델과 Cache Read 최적화로 추론 비용 90% 절감한 Composer 2

Context

범용 Frontier Model 기반의 프록시 구조로 인한 높은 추론 비용과 지연 시간 발생. 대규모 코드베이스 작업 시 중복되는 컨텍스트 전송으로 인한 토큰 낭비가 심각한 병목 지점으로 작용.

Technical Solution

• Coding 데이터 전용 Continued Pre-training 및 RL을 통한 특화 모델 설계로 일반 지능을 배제하고 코드 처리 효율 극대화
• 모델 가중치는 동일하게 유지하되 GPU 큐 우선순위에 따라 Fast/Standard 티어로 분리하여 Compute 비용 최적화
• 세션 내 중복 컨텍스트를 재사용하는 Cache Read 메커니즘을 도입하여 반복 요청 시 입력 토큰 비용 절감
• Intra-repo Dependency Graph 이해 및 Sandboxed Terminal 기반의 Loop 구조 설계를 통한 Long-horizon 태스크 수행 능력 확보
• 요청 빈도와 응답 대기 시간 허용치에 따른 계층적 추론 경로 설계를 통해 인프라 비용 효율성 달성