Network-layer Firewall 도입으로 $47,000 규모의 API 예산 누수 원천 차단

Context

LangChain Agent의 무한 재귀 루프로 인한 API 비용 폭증 문제 발생. max_iterations 등 Application-layer 제어 방식은 개별 개발자의 설정 의존도가 높고 Context Bloat로 인한 비용 상승을 막지 못하는 한계 존재.

Technical Solution

• Agent와 LLM Provider 사이의 Critical Path에 Loopers Reverse Proxy 배치
• Redis Lua Script를 활용한 예산 잔액 확인 및 차감의 Atomic Operation 구현
• 예산 소진 시 HTTP 429 Too Many Requests를 즉시 반환하는 Fail-closed 메커니즘 설계
• Raw API Key를 Proxy Key로 대체하여 Upstream Key 노출 방지 및 중앙 집중식 제어 달성
• Network-layer에서의 물리적 요청 드롭을 통해 Application 로직과 무관한 강제 종료 보장
• 40MB RAM 수준의 경량 설계로 추론 경로상의 Latency 최소화

Impact

• 루프 발생 시 11일간 $47,000에 달하던 비용 누수를 실시간 차단으로 방지
• Redis 기반 예산 검증을 통해 요청당 약 1-2ms의 매우 낮은 추가 지연 시간 발생

Key Takeaway

비즈니스 크리티컬한 자원 제어는 Application-layer의 설정이 아닌 Network-layer의 물리적 차단(Circuit Breaker) 구조로 설계해야 함