API Proxy 계층 도입으로 코드 수정 없이 LLM 비용 70% 절감

Context

GPT-4 단일 모델 의존으로 인한 월 $200 규모의 높은 API 비용 발생. 모델 교체를 위한 코드 수정 및 프롬프트 재검증에 따른 높은 엔지니어링 리소스 투입이 제약 사항으로 작용함.

Technical Solution

• OpenAI-compatible API 규격을 준수하는 Thin Proxy 레이어 설계로 애플리케이션 코드 수정 배제
• Input Token 수 및 요청 복잡도 기반의 Dynamic Routing 로직 구현을 통한 모델 최적화
• Gemini Flash(단순 요청) $\rightarrow$ Claude Haiku(중간 복잡도) $\rightarrow$ GPT-4o(고복잡도) 순의 계층적 라우팅 전략 채택
• 동일 프롬프트에 대한 1시간 단위 Caching 적용으로 불필요한 API 호출 15% 제거
• 저가형 모델의 응답 신뢰도 저하 시 상위 모델로 자동 전환하는 Fallback Chain 구축
• 단일 엔드포인트를 통한 다중 LLM Provider 통합 관리 구조 설계

Impact

• 월 API 비용 $200에서 $60 수준으로 약 70% 절감
• 요청의 60%를 Gemini Flash로 처리하여 단일 요청 비용 최대 400배 감소
• 저가형 모델 처리 비중 95% 달성 및 응답 품질 저하 없는 비용 최적화 성공