TTFT 186배 폭증을 통해 발견한 LLM 추론 큐 병목 현상

Context

단일 사용자 기반의 Baseline 테스트로 인해 LLM 배포 환경의 잠재적 성능 결함 간과. 단순 Request Throughput 지표만으로는 실제 사용자 경험(UX)의 저하를 탐지하지 못하는 모니터링의 한계 발생.

Technical Solution

• Realistic Concurrency 설정을 통한 실제 트래픽 부하 상황 재현
• TTFT(Time to First Token)와 ITL(Inter-Token Latency)의 분리 분석을 통한 병목 지점 특정
• SLO 기반의 Goodput 지표 도입으로 실제 서비스 가능 요청 비율 산출
• ITL의 일관성을 확인하여 하드웨어 성능 문제가 아닌 Prefill 단계의 Queue 관리 문제로 정의
• 단순 응답 시간 측정에서 벗어나 단계별 Latency 추적을 통한 아키텍처 진단