Model Routing과 Verifier 도입을 통한 AI 코딩 비용 70% 절감

Context

LLM의 Stateless 특성으로 인해 발생하는 컨텍스트 유지 비용과 수동 Prompt Engineering의 한계 분석. 단순 턴 기반 상호작용은 복잡한 멀티스텝 작업 수행 시 오버헤드가 급증하는 구조적 결함 보유.

Technical Solution

• 외부 저장소(Files, Git)를 통한 Context 관리와 Autonomous Agent 기반의 Loop Engineering 구조 설계
• 작업 가치에 기반한 Task-level Budget Cap 설정을 통한 무한 루프 및 비용 폭증 방지
• Expensive Frontier Model의 결과물을 Cheap Model이 검증하는 Separate Verifier 구조 채택
• 추론 깊이에 따라 Architecture(Frontier), Implementation(Mid-tier), Test(Cheap)로 분리하는 Model Routing 적용
• '계획 → 구현 → 검증 → 피드백'으로 이어지는 상태 머신 기반의 반복 루프 구현