Network Layer Proxy 기반의 AI Agent 비용 통제로 예산 초과 원천 차단

Context

LLM API의 고비용 특성과 로직 오류로 인한 급격한 비용 증가 위험 상존. 기존 Application-level의 Budget Check 방식은 API 호출 후 비용을 기록하는 사후 처리 구조로 인해 Race Condition 발생 및 라이브러리 직접 호출 시 우회 가능성이라는 아키텍처적 한계 노출.

Technical Solution

• OPENAI_BASE_URL 설정을 통한 모든 API 트래픽의 네트워크 계층 Proxy 강제 경유 구조 설계
• Request Forwarding 전 단계에서 Agent ID 기반의 일일 지출 한도 사전 검증을 통한 429 Error 즉시 반환 로직 구현
• Redis를 활용한 Atomic Spend Tracking으로 동시성 제어 및 데이터 무결성 확보
• Streaming Response의 부분 데이터를 버퍼링하여 정확한 Token Count를 추출하는 비용 계산 엔진 탑재
• API Key 및 Request Signing을 통한 Agent별 인증 체계 구축으로 비인가 호출 차단
• 모델별 최신 Pricing Table을 동적으로 반영하는 중앙 집중형 비용 관리 체계 적용