OpenAI-Compatible Gateway를 통한 다중 LLM 워크플로우 통합 최적화

Context

모델 제공자별 API 키, 대시보드, 요금 체계 파편화로 인한 개발 효율성 저하 발생. 워크플로우 내 모델 비교 및 교체 시마다 개별 Provider의 통합 로직을 반복 수정해야 하는 아키텍처적 한계 존재.

Technical Solution

• OpenAI-Compatible API Gateway 계층을 도입하여 인터페이스 표준화 달성
• Base URL 및 Model Name 변경만으로 하위 모델을 교체하는 추상화 레이어 구축
• 단일 API Key 관리 체계를 통한 다수 모델 Provider 접근 제어 단순화
• 작업 복잡도에 따라 최적 모델(Low-cost, High-performance, Low-latency)을 선택적으로 라우팅하는 유연한 실험 구조 설계
• 기존 OpenAI SDK 기반 툴링과의 하위 호환성을 유지하여 통합 비용 최소화