Tiered Inference 도입을 통한 Latency 40% 절감 및 비용 최적화

Context

모든 요청을 단일 Heavyweight Model로 처리하는 Monolith 구조로 인한 TTFT 증가 및 리소스 낭비 발생. GPU 성능 강화와 Batch Size 조정 등 인프라 중심 최적화에도 불구하고 3s 이상의 높은 Latency 지속.

Technical Solution

• Intent Classification 단계를 최전방에 배치하여 요청별 복잡도 사전 분류
• 요청 성격에 따라 Compute 자원을 차등 할당하는 Tiered Dispatch 구조 설계
• 단순 쿼리 및 상태 확인 요청을 처리하는 Tier 1(7B-8B Model) 경로 구축
• 복잡한 추론 및 다단계 로직 처리를 위한 Tier 2(175B+ Model) 경로 분리
• 불필요한 연산 경로를 제거하는 Token Pruning 적용을 통한 최종 응답 시간 단축
• MegaLLM 활용으로 기존 Inference Pipeline의 전면 재구축 없이 Routing 로직 통합

Impact

• 평균 Latency 3.2s에서 1.9s로 40% 감소
• Cloud Cost의 유의미한 절감 및 User Retention 지표 회복

Key Takeaway

AI 서비스의 Latency 문제는 인프라 스펙보다 요청 분포에 최적화된 Architecture 설계로 해결 가능함.