OpenAI-Compatible API 기반 모델 스왑을 통한 비용 84% 절감 및 지연시간 최적화

Context

특정 LLM 벤더 종속성으로 인한 높은 비용 구조와 모델 교체 시 발생하는 코드 수정 비용이 병목 지점으로 작용함. OpenAI API가 사실상의 표준(de facto standard)으로 자리 잡은 환경에서 모델 간 유연한 전환이 가능한 추상화 계층의 필요성이 증대됨.

Technical Solution

• OpenAI SDK의 base_url 및 api_key 파라미터 변경만으로 작동하는 Gateway 패턴 채택을 통한 코드 수정 최소화
• Task 성격에 따라 DeepSeek(코딩/추론), Qwen(롱 컨텍스트), GLM(구조적 추론)로 분기하는 Model Selection 전략 수립
• 서비스 안정성 확보를 위해 고성능 모델부터 폴백 모델 순으로 호출하는 Fallback Chain 구조 설계
• Edge Caching 기반 Gateway 활용으로 직접 호출 대비 응답 지연시간 단축 및 처리 효율 개선
• 비용 효율 극대화를 위해 단순 작업은 Flash 모델로, 복잡한 작업은 Pro 모델로 할당하는 Tiered Model Deployment 적용