P99 Latency 84% 절감, 하드웨어 교체 없는 LLM 최적화 전략

Context

중앙값(P50) 지표에 의존한 성능 측정으로 인한 P99 Latency 간과 문제 발생. 단순 Throughput(TPS) 중심의 최적화로 인한 실제 사용자 체감 속도 저하. 컴퓨팅 자원 증설만으로는 해결 불가능한 라우팅 및 큐잉 병목 현상 존재.

Technical Solution

• 요청의 복잡도와 토큰 수 및 작업 유형에 따른 Intelligent Request Routing 도입으로 모델 티어 분리
• 순차적 Chain-of-Thought 파이프라인을 독립적 서브 태스크 기반의 Parallel Fan-out 구조로 전환
• 임베딩 조회와 컨텍스트 검색 및 프롬프트 구성을 동시에 수행하는 병렬 처리 설계
• 유사도 임계값 0.95 이상의 Semantic Caching 적용을 통한 반복 쿼리 응답 시간 단축
• 지속적 스트림을 활용한 Connection Pooling 최적화로 네트워크 오버헤드 제거

Impact

• TTFT(P50): 820ms → 190ms
• TTFT(P99): 4,200ms → 680ms
• End-to-end(P50): 2.1s → 540ms
• Throughput: 340 req/s → 1,100 req/s
• Cost per 1K requests: $2.40 → $0.85

Key Takeaway

LLM 성능 최적화의 핵심은 단일 요소의 속도 향상이 아닌 느린 경로의 요청 수를 최소화하는 구조적 설계에 있음.