OpenTelemetry 기반 Logic Span 설계를 통한 LLM Hallucination 추적 체계 구축

Context

LLM 서비스의 단순 200 OK 응답 뒤에 숨겨진 논리적 오류와 Hallucination 파악의 어려움 발생. 단순 Flat Logging으로는 LLM의 내부 추론 단계와 애플리케이션 상태 간의 상관관계를 분석하기 어려운 구조적 한계 존재.

Technical Solution

• Semantic Tracing 도입을 통한 추론 단계별 OpenTelemetry Span 래핑 구조 설계
• Parent 'Plan' Span 하위에 Child 'Thought' Span을 중첩하여 논리적 이탈 지점의 가시성 확보
• Temperature, Top_p, Prompt Version 등 Hyperparameters를 Span Attribute로 주입하여 결정론적 분석 환경 구축
• TSDB Cardinality Explosion 방지를 위해 Span Name은 정적 문자열로 유지하고 동적 데이터는 Attribute로 분리
• Async Context Bleed 해결을 위해 멀티 에이전트 환경에서 OTel Context 객체의 명시적 전파 수행
• Global SpanProcessor 구현을 통한 PII 데이터의 정규식 기반 Scrubbing 및 보안 규정 준수