피드로 돌아가기
Dev.toInfrastructure
원문 읽기
HTTP_PROXY 우회 문제를 해결한 Local Loopback Proxy 기반 LLM 관측성 확보
Why I quit SaaS AI observability tools and built a local proxy instead
AI 요약
Context
Coding Agent 기반의 Native CLI 도구들이 HTTP_PROXY 환경 변수를 무시하고 API 엔드포인트로 직접 HTTPS 호출을 수행하는 구조적 한계 직면. Langfuse나 Helicone 같은 기존 SaaS Observability 도구의 SDK 방식 및 Proxy 설정으로는 CLI 내부의 트래픽 캡처가 불가능한 상황 발생.
Technical Solution
- Local Loopback Reverse Proxy 구축을 통한 Man-in-the-Middle 트래픽 캡처 구조 설계
- ANTHROPIC_BASE_URL 환경 변수 오버라이딩을 통한 API 요청 경로를 로컬 프록시(127.0.0.1)로 강제 전환
- Loopback 인터페이스의 Plain HTTP 통신 특성을 활용하여 CA 인증서 설치 없는 Zero-config 환경 구현
- 요청-응답 데이터의 실시간 파싱을 통한 System Prompt, Tool Call 및 Token 사용량의 로컬 분석 로직 구현
- SaaS 전송 단계를 제거한 Local-only 아키텍처 채택으로 데이터 유출 방지 및 레이턴시 최소화
실천 포인트
1. 외부 SDK 도입 전 타겟 애플리케이션의 네트워크 라이브러리가 표준 Proxy 설정을 준수하는지 확인
2. 보안 제약이 큰 환경에서는 SaaS 기반 Observability 대신 Local Proxy 기반의 데이터 수집 구조 검토
3. LLM 비용 최적화를 위해 Cache Hit Rate 및 Token Breakdown의 실시간 모니터링 체계 구축