Prefix Caching 최적화를 통한 TTFT 480ms에서 110ms로 단축

Context

멀티 테넌트 에이전트 환경에서 반복적인 시스템 프롬프트 처리로 인한 TTFT 병목 발생. 특히 에이전트의 루프 구조로 인해 누적 지연 시간이 사용자 경험을 저해하는 구조적 한계 직면.

Technical Solution

• vLLM Prefix Caching 도입을 통한 중복 토큰의 KV blocks 재사용 구조 설계
• Block 단위(16 tokens)의 Greedy 캐싱 메커니즘을 통한 Prefill 연산 생략
• 가변 필드를 프롬프트 후단으로 배치하는 전략을 통해 캐시 무효화 범위 최소화
• Memory Pressure 상황에서의 Cache Thrashing 방지를 위해 Swap 대신 Recompute 모드 채택
• HBM의 약 14%를 캐시 영역으로 할당하여 Throughput보다 TTFT 최적화에 우선순위 부여

Impact

• Tenant A: TTFT p50 480ms → 110ms, p95 1.4s → 280ms로 개선 및 GPU Prefill 연산 38% 감소
• Tenant B: 프롬프트 구조 변경 후 Hit rate 0.3% → 87%, TTFT p50 510ms → 145ms로 개선

Key Takeaway

KV 캐시 효율은 프롬프트의 내용보다 '구조적 배치'에 의해 결정되며, 특히 가변 데이터의 위치가 캐시 적중률을 결정하는 핵심 설계 요소임.