모델 교체 없이 구조 최적화만으로 p95 Latency 31s에서 8s로 단축

Context

LLM 모델 성능에만 의존하여 높은 응답 지연 시간이 발생한 AI 채팅 시스템 구조. 전체 Latency의 65%가 순차적 Tool Call과 불필요한 LLM 중간 단계 및 Streaming 부재로 인한 구조적 병목 지점임.

Technical Solution

• Asyncio.gather 및 Promise.all을 통한 독립적 Tool Call의 Parallelize 처리로 대기 시간 최소화
• LLM 기반 Critic 단계를 제거하고 Deterministic Validation Rule로 대체하여 불필요한 LLM Call 배제
• Server-Sent Events(SSE) 및 Websockets 도입을 통한 Response Streaming으로 체감 Latency 개선
• TTL 기반 In-memory Cache 도입을 통해 반복적인 KB Vector Search 및 Query 비용 절감
• Non-critical 단계에 GPT-4o-mini 등 경량 모델을 배치하는 계층적 모델 전략 적용

Impact

• p95 Response Latency: 31s → 8s 단축
• User Abandonment Rate: 70% 감소
• LLM Call 제외 구조적 지연 시간: 20s 수준에서 대폭 개선

Key Takeaway

LLM 에이전트의 병목은 모델 자체보다 순차적 워크플로우와 비효율적인 파이프라인 구조에 기인함. 모델 교체 전 구조적 최적화를 선행하여 응답 품질 저하 없이 성능을 확보하는 설계 우선주의 필요.