DeepSeek 도입으로 추론 비용 40배 절감 및 LLM Tiered Routing 설계

Context

GPT-4o 기반 서비스 운영 중 토큰 비용 급증으로 인한 비용 효율성 최적화 필요성 대두. 단순 벤치마크가 아닌 실제 프로덕션 워크로드 기반의 모델별 성능 및 비용 상관관계 분석 수행.

Technical Solution

• 비용 효율 극대화를 위해 Claude 3.5 Sonnet 대비 Output 비용 60배 저렴한 DeepSeek V4 Flash를 기본 모델로 채택
• 모델별 특성(Reasoning, Tool-use, Language)을 분석하여 요청 복잡도 및 목적에 따른 Tiered Routing 아키텍처 설계
• Global API 도입을 통해 중국 모델의 결제 및 인증 제약을 해결하고 OpenAI-compatible 인터페이스로 Provider 추상화 계층 구축
• 낮은 신뢰도나 오류 발생 시 상위 모델로 자동 전환하는 Fallback Pattern을 구현하여 시스템 안정성 확보
• Tool-heavy 워크플로우는 Claude 3.5 Sonnet을, 단순 추론 및 중국어 처리는 Kimi K2.5를 할당하는 하이브리드 라우팅 적용

Impact

• Claude 3.5 Sonnet 대비 Output 토큰 비용 최대 60배 절감 ($15.00/M → $0.25/M)
• HumanEval 기준 GPT-4o(92.5)와 유사한 92.0의 코드 생성 성능 유지
• MMLU-style 추론 성능 차이를 3.5점 내외로 유지하며 운영 비용 월 $2,400에서 $40 수준으로 감축

Key Takeaway

단일 모델 의존도를 낮추는 LLM 추상화 계층과 비용-성능 트레이드오프 기반의 동적 라우팅 설계가 인프라 비용 최적화의 핵심임.