Distributed Tracing 기반 AI Agent 가시성 확보 및 토큰 비용 최적화

Context

단일 LLM 호출과 달리 AI Agent는 다수의 내부 오퍼레이션과 외부 툴 호출이 체인 형태로 연결되는 구조임. 단순 Log 기반 모니터링으로는 8초 이상의 Latency 발생 시 LLM 추론 지연인지 툴 재시도 루프로 인한 병목인지 식별 불가능한 한계 존재.

Technical Solution

• OpenTelemetry GenAI semantic conventions 적용을 통한 LLM 호출, Tool 실행, Agent Step의 표준화된 Span 속성 정의
• Prompt 및 Completion 대용량 데이터를 Span Attribute가 아닌 별도 Event로 분리하여 저장함으로써 Trace Payload 및 스토리지 비용 증가 방지
• W3C traceparent 헤더 기반의 Trace Context Propagation을 통한 Orchestrator와 Worker Agent 간의 단일 Root Trace 유지
• OTLP 프로토콜 기반의 OpenObserve 전송 체계를 구축하여 SQL 기반의 Trace 데이터 쿼리 및 비용 Attribution 구현
• Tail-based Sampling 전략을 도입하여 Error Trace 및 5초 초과 Slow Trace는 100% 유지하고 일반 요청은 10%만 샘플링하여 저장 비용 최적화