API 비용 47,000달러 폭탄 방지, 5단계 Cost Circuit Breaker 설계

Context

자율 AI Agent의 무한 루프 발생 시 API 비용이 기하급수적으로 증가하는 구조적 결함. 일반적인 Rate Limit 설정만으로는 정상 범위의 개별 요청이 누적되어 발생하는 집계 비용 폭증을 제어 불가능한 한계.

Technical Solution

• 개별 세션의 무한 실행 방지를 위해 300~900초 단위의 Per-Cron Timeout 설정 및 프로세스 강제 종료 구조
• 파이프라인 복구 시 재시도 폭풍을 막기 위한 아이템당 최대 3회 재시도 제한 및 2시간의 최소 간격 유지 전략
• 전체 에이전트의 일일 통합 지출을 감시하여 특정 임계치($50 경고, $100 중단) 도달 시 작동하는 Cost Circuit Breaker 도입
• 설정 오류로 인한 고비용 모델 오라우팅을 방지하기 위해 작업별 모델을 강제 지정하는 Model Pinning 방식 적용
• 주간 리포트 및 월간 상한선($600) 설정을 통한 장기적인 비용 점진적 증가(Slow Creep) 모니터링 체계 구축

Impact

• 인적 팀 구성 시 월 $15,000~$25,000 소요되는 업무를 AI Agent 인프라 비용 월 $450~$600 수준으로 대체
• 일일 평균 지출액 $15~$20 유지
• 모델별 세션 비용 최적화: GLM-5($0.05-0.10), Sonnet($0.50-1.00), Opus($2-5)

Key Takeaway

단일 제어 메커니즘은 모든 실패 모드를 잡을 수 없으므로, 각 층이 서로의 갭을 보완하는 다층 방어 아키텍처(Defense in Depth) 설계가 필수적임.