OTel 기반 4계층 트레이싱으로 Barge-in 지연시간 200ms 이하 달성

Context

ASR, LLM, TTS, Client로 구성된 Voice Agent의 End-to-End Latency 측정만으로는 각 단계별 병목 지점 파악이 불가한 한계 존재. 특히 개별 단계의 벤치마크 성능이 우수하더라도 파이프라인 간 연결 지점에서 발생하는 지연과 Jitter로 인해 사용자 경험이 저하되는 문제 발생.

Technical Solution

• voice.turn이라는 Parent Span 하위에 각 단계별 Child Span을 구성하여 전체 워크플로우의 논리적 사슬 시각화
• 전체 처리 시간보다 사용자가 체감하는 First Byte(첫 번째 유효 출력 시점)를 핵심 지표로 설정하여 측정
• NTP 보정으로 인한 시간 역전 현상 및 데이터 오염 방지를 위해 time.time() 대신 time.monotonic() 채택
• High Cardinality 문제를 해결하기 위해 session_id는 Span Attribute로 유지하고 Metric Label에서는 제외하는 분리 전략 적용
• ASR 단계에서 최종 전사 결과가 아닌 First Partial 기반의 First Byte를 측정하여 실시간 체감 속도 정밀 분석
• Client-side Span을 도입하여 서버 지표에서 확인 불가능한 네트워크 Jitter 및 Playout Buffer 영향도 파악