GKE Inference Gateway 도입 통한 TTFT 최대 70% 단축

Context

Stateless HTTP 서비스용 Round-robin 및 Least-connections 기반 Heuristic Routing 방식의 한계 노출. LLM 추론의 Non-linear한 Token 생성 특성과 KV Cache 상태를 반영하지 못하는 기존 라우팅 구조로 인한 GPU 자원 낭비 및 Latency 증가 발생.

Technical Solution

• 단순 연결 수 기반의 Heuristic 방식에서 Real-time Capacity-aware Routing 구조로 전환
• 요청별 예상 처리 시간을 계산하여 최적의 Pod를 선정하는 Predictive Latency Boost 로직 구현
• Request Completion Time 실시간 관찰을 통한 동적 Capacity Model 구축
• 모델별 Memory Footprint 및 Batch Size 변화에 대응하는 자동 큐 다이내믹스 모델링 적용
• 수동 Nginx 설정 없이 트래픽 패턴 변화에 스스로 적응하는 Self-adaptive Routing 메커니즘 채택

Impact

• Time-to-First-Token(TTFT) Latency 최대 70% 감소

Key Takeaway

LLM 인프라 설계 시 모델 성능만큼이나 Model-aware Routing 레이어의 최적화가 전체 User Experience를 결정짓는 핵심 병목 지점임을 시사.