Otellix가 Go용 LLM 관찰성 SDK를 OpenTelemetry 기반으로 구축해 비용 초과 방지와 다중 제공자 통합 추적

Context

Go 환경에서 LLM을 프로덕션에 운영하면서 예상 밖의 높은 API 청구액이 발생하는 문제가 있었다. 기존 LLM 관찰성 플랫폼은 SaaS 기반 이벤트 단위 과금 모델이거나 엄격한 예산 강제 메커니즘이 없었다. Anthropic, OpenAI, Gemini, Ollama 등 다양한 제공자의 가격 책정 모델을 통일된 방식으로 추적할 수단이 부족했다.

Technical Solution

• OpenTelemetry 기반 통합 추적: Anthropic, OpenAI, Gemini, Ollama 공식 SDK를 래핑해 입력 토큰, 출력 토큰, 캐시된 토큰을 표준화된 OTel 스팬과 Prometheus 메트릭으로 방출
• 영메모리 비용 엔진 탑재: 2026년 기준 USD 가격 모델을 동기화하여 요청의 정확한 달러 비용을 CallResult 구조체에 즉시 반환
• 하드 예산 강제 메커니즘 구현: 사용자별 일일 한도 설정 후 초과 시 세 가지 폴백 전략 선택 가능
  • FallbackBlock: 예산 초과 시 LLM 실행을 중단하고 otellix.ErrBudgetExceeded 에러 반환
  • FallbackNotify: 요청을 통과시킨 후 비동기 onLimitReached 콜백 웹훅 트리거
  • FallbackDowngrade: 프리미엄 토큰 소진 시 더 저렴한 제공자/모델(예: claude-3-opus에서 gemini-1.5-flash 또는 로컬 ollama로 자동 전환)
• 기존 코드 개조 최소화: 기존 OpenAI 클라이언트 로직을 otellix.Trace() 호출로 감싸는 방식으로 통합
• 오픈소스 배포 및 개발 환경 제공: MIT 라이선스로 공개하며 Prometheus와 Grafana 대시보드를 포함한 docker-compose 환경 제공

Key Takeaway

다중 LLM 제공자 환경에서 단일 인터페이스로 비용을 추적하고 실시간으로 예산을 강제하려면 OpenTelemetry 표준 위에 제공자별 래퍼를 구축하고 즉시 계산된 비용 정보를 반환하는 구조가 효과적이다. 특히 폴백 메커니즘을 통해 비용 제약을 운영 중단이 아닌 모델 다운그레이드로 해결할 수 있다.