OTel 기반 비용 추적 시스템 구축으로 비용 급증 1일 내 감지

Per-project LLM cost attribution with OTel spans: the wiring

Jasmine Park2026년 6월 4일8분intermediate

AI 요약

Context

공통 API Key 사용으로 인한 LLM 비용의 팀별/프로젝트별 상세 구분 불가능 상태. 단순한 텔레메트리 수집을 넘어 실제 과금을 위한 attribution 차원 부재로 인한 비용 최적화 한계 발생.

모든 LLM 호출이 통과하는 Gateway 레이어에서 team.id, project.id, feature.id 헤더 기반의 태깅 수행
OpenInference semantic conventions를 준수하는 llm.model_name 및 token_count 속성 채택을 통한 벤더 종속성 제거
OTel Collector의 transform processor를 활용하여 누락된 태그에 sentinel 값을 할당함으로써 비용 누수 원천 차단
Span 생성 시점이 아닌 Query 시점에 Price Map을 적용하는 동적 비용 계산 구조 설계로 가격 변동 유연성 확보
TraceQL 기반의 집계 쿼리를 통해 Tempo 스토리지 내의 토큰 합계를 팀별 비용으로 롤업하는 파이프라인 구축
OTLP 표준 프로토콜 채택을 통해 백엔드 스토리지 및 대시보드 도구 교체 가능성을 열어둔 포터블 아키텍처 설계

실천 포인트

1. LLM Gateway를 통해 공통 태깅 및 토큰 카운팅 일원화 여부 검토

2. OpenTelemetry/OpenInference 표준 속성 사용으로 벤더 락인 방지

3. Collector 단계에서 누락된 필수 속성에 대한 기본값 할당 로직 구현

4. 비용 계산 로직을 텔레메트리 데이터와 분리하여 별도 가격 테이블로 관리

태그