OpenTelemetry 기반 Multi-framework 관측성 및 CI/CD Eval Gate 구축

Context

특정 프레임워크 종속적인 관측성 도구로 인한 벤더 락인 및 인프라 확장성 제한 발생. 다양한 LLM Agent 프레임워크를 혼용하는 환경에서 통합된 Tracing과 정량적 품질 검증 체계의 필요성 증대.

Technical Solution

• OpenTelemetry OTLP 표준 채택을 통한 Honeycomb, Jaeger 등 기존 Observability 스택과의 상호운용성 확보
• 12종 이상의 Agent 프레임워크를 지원하는 Framework-neutral Wrapper 설계를 통한 통합 Tracing 구현
• MIT 라이선스 기반의 Self-hosting 구조 설계를 통한 데이터 레지던시 및 보안 요구사항 충족
• CI/CD 파이프라인 내 Exit Code 1을 반환하는 Eval Gate CLI를 도입하여 Regression 발생 시 배포 자동 차단
• LLM-as-judge 프레임워크와 Golden Dataset API를 결합한 정량적 성능 평가 자동화 체계 구축