Framework-native Circuit Breaker 도입을 통한 AI Agent 비용 폭증 원천 차단

Context

AI Agent의 자율적 LLM 호출 결정 구조로 인한 무한 루프 및 비용 통제 불능 문제 발생. 기존의 Manual monitoring이나 Provider-level spending caps는 세밀한 Agent별 제어가 불가능하며 Gateway proxy는 Latency 증가 및 Vendor lock-in 위험을 초래함.

Technical Solution

• Framework-native Hook 설계를 통한 CrewAI, AutoGen, LangGraph 프로세스 레벨의 직접 제어
• pre_call_check 로직을 통한 호출 전 Budget, Rate limit, Circuit breaker 상태 검증 및 실행 여부 결정
• post_call_record 메커니즘 기반의 실제 Token 소모량 추적 및 실시간 비용 정산
• N회 연속 위반 시 동작을 즉시 중단하는 Circuit Breaker 패턴 적용으로 Silent cost accumulation 방지
• Prefix matching 기반의 모델별 가격 체계 구축을 통한 다양한 LLM pricing 유연하게 처리
• Configurable threshold 기반의 Alert callback 시스템으로 임계치 도달 전 사전 통지 구현