Local Proxy를 통한 Model Routing으로 API 비용 제로화 및 LLM 벤더 종속성 제거

Context

Claude Code와 같은 AI 도구가 요청 바디에 고정된 모델명을 전송하여 특정 API 엔드포인트에 종속되는 구조적 한계 존재. UX와 Agent Loop는 유지하면서 백엔드 모델을 자유롭게 교체하고자 하는 니즈 발생.

Technical Solution

• ANTHROPIC_BASE_URL을 로컬 프록시(CliGate)로 설정하여 모든 요청 트래픽을 가로채는 Interceptor 구조 설계
• Request Body의 model 필드를 Routing Hint로 활용하여 목적지 모델을 동적으로 결정하는 Routing Table 구현
• Anthropic Messages API와 OpenAI Chat Completions API 간의 데이터 포맷을 변환하는 Protocol Translation 레이어 구축
• Account Pool 기반의 Round-robin 스케줄링을 통해 API Key 비용 없이 다수 계정을 순환 사용하는 트래픽 분산 처리
• 요청 실패 시 API Key로 자동 전환되는 Priority Mode 및 Fallback 메커니즘 적용으로 시스템 가용성 확보
• 응답 데이터의 모델명을 요청 모델명과 동일하게 Echoing 하여 클라이언트 측의 검증 로직 우회