OpenTelemetry 표준 기반 RAG Embedding 관측성 체계 구축

Fixing AI Observability: How I Added GenAI Semantic Support for RAG Embedding Spans in Mastra

Akash Santra2026년 6월 17일3분intermediate

AI 요약

Context

전통적인 Trace 방식만으로는 모델 정보, Token 사용량, 비용 등 GenAI 특유의 메타데이터를 추적하는 데 한계 존재. 특히 Mastra 프레임워크 내 RAG Embedding 단계에서 표준화된 Semantic Convention 부재로 인한 가시성 결여 발생.

Technical Solution

RAG_EMBEDDING Span에 OpenTelemetry GenAI Semantic Conventions를 매핑하여 텔레메트리 표준화 달성
gen_ai.system, gen_ai.request.model 등 표준 속성을 도입하여 벤더 독립적인 관측성 확보
Embedding 모델 메타데이터 및 Provider 정보를 Span Attribute로 강제하여 추적 데이터의 일관성 유지
Token 사용량 지표를 표준 스키마에 정렬하여 인덱싱 및 검색 단계의 비용 분석 가능 구조 설계
기존 Tracing 인프라와의 호환성을 유지하면서 하위 관측 시스템의 커스텀 통합 필요성 제거

실천 포인트

- AI 파이프라인 설계 시 단순 실행 여부가 아닌 모델명, 토큰량, 비용 등 도메인 특화 메타데이터 정의 여부 검토 - 자체 커스텀 필드 정의 대신 OpenTelemetry와 같은 글로벌 Semantic Convention 준수 여부 확인 - RAG 파이프라인의 각 단계(Chunking -> Embedding -> Retrieval)별로 추적 가능한 고유 식별자 및 속성 매핑 설계

태그

#Semantic Conventions #GenAI #RAG #OpenTelemetry #Observability

원문 읽기