Call Site 예산 캡핑을 통한 AI Agent 비용 40% 격차 해소

Context

AI Agent 운영 시 벤더가 제시하는 예상 비용과 실제 청구 비용 간의 40% 이상의 격차 발생. Retry 루프, Context Bloat, Model Overkill로 인한 토큰 낭비가 주요 원인이나 기존 Dashboard 기반의 사후 분석으로는 실시간 비용 통제가 불가능한 한계 존재.

Technical Solution

• API Call Site에 직접 Budget Check 로직을 배치하여 요청 단위의 Hard Stop 메커니즘 구현
• 단순 Retry Count 제한 대신 USD 기준 Retry Budget을 설정하여 Context 크기에 따른 비용 폭증 방지
• 전체 Conversation History 대신 최근 Turn과 요약본(Summary)만 전달하는 Context Trimming 전략 적용
• 복잡도에 따른 Model Routing을 통해 단순 질의에 고비용 모델 사용을 배제하는 최적화 설계
• AgentGuard와 같은 Runtime Budget Limiter를 도입하여 함수 단위의 토큰 및 비용 캡핑 수행