LLM 모델 최적화 및 라우팅 전략으로 API 비용 96% 절감

Context

GPT-4o 기반의 RAG 파이프라인 운영 중 과도한 Output Token 비용으로 인한 운영비 증폭 발생. 단순 모델 성능 지표에 의존한 기본 설정 채택으로 인해 실제 Workload 대비 과잉 스펙의 모델을 사용한 아키텍처의 한계 노출.

Technical Solution

• Workload 특성 분석을 통한 Input/Output Token 비율 기반의 Unit Economics 산출
• 단순 요약, 분류, 추출 등 고정된 패턴의 작업에 DeepSeek V4 Flash와 같은 경량 모델을 배치하는 모델 라우팅 전략 수립
• OpenAI SDK 프로토콜 호환 인터페이스를 활용하여 Base URL 및 Model Name 변경만으로 무중단 마이그레이션 수행
• 복잡한 Multi-step Reasoning이 필요한 5%의 고난도 작업에만 GPT-4o를 할당하는 계층적 모델링 구조 설계
• Gemini 1.5 Pro의 1M Context Window를 활용하여 기존의 복잡한 Chunking 로직을 제거하고 아키텍처 단순화 도모

Impact

• 월간 비용: GPT-4o 기반 $600.00에서 DeepSeek V4 Flash 기반 $23.20로 감소 (약 96% 절감)
• Output 비용 효율: GPT-4o 대비 36배 저렴한 단가 확보
• 모델 성능: 일반적인 백엔드 파이프라인 작업에서 사용자 체감 품질 차이 없음 확인

Key Takeaway

모델의 일반적인 벤치마크 성능보다 실제 서비스의 Token 소모 패턴과 작업 복잡도에 맞춘 모델 선택이 시스템 경제성을 결정함. 모든 요청에 최고 성능 모델을 적용하는 대신, 작업 성격에 따라 모델을 분리 배치하는 Model Routing 아키텍처 도입이 필수적임.