피드로 돌아가기
Dev.toDevOps
원문 읽기
OTel 기반 Claude Code 로그 통합으로 LLM 비용 및 사용 패턴 가시성 확보
Your LLM Logs Deserve Better — Send Claude Code Events to Bronto
AI 요약
Context
Claude Code의 분산된 LLM 사용 로그로 인한 비용 추적 및 프롬프트 오남용 감시의 어려움 발생. 개별 환경의 로그 생성 방식으로는 조직 차원의 통합 분석과 장기적 데이터 보존이 불가능한 구조적 한계 존재.
Technical Solution
- OpenTelemetry(OTel) 표준 프로토콜을 통한 LLM 텔레메트리 데이터의 표준화 및 전송 체계 구축
- 인프라 관리 부담 최소화를 위해 OTLP Endpoint로 직접 전송하는 Direct Integration 방식 설계
- 다중 소스 로그 집계 및 필터링 프로세서 적용을 위해 AWS EC2 기반 OTel Collector를 경유하는 파이프라인 구성
OTEL_LOG_USER_PROMPTS설정을 통한 프롬프트 데이터 활성화 및 Bronto의 고성능 쿼리 엔진을 통한 실시간 분석 환경 마련- gRPC 및 HTTP/Protobuf 프로토콜 선택을 통한 데이터 전송 효율 최적화 및 전송 지연 감소
- 12개월 Hot Log 보존 정책 설정을 통한 EU AI Act 준수 및 비결정적 LLM 동작 디버깅 기반 확보
실천 포인트
- LLM 툴 도입 시 OTel 표준 지원 여부를 확인하여 벤더 종속성 없는 로그 파이프라인 설계 - 전송 비용과 관리 공수를 고려하여 Direct 전송과 Collector 경유 방식 중 적절한 아키텍처 선택 - `input_tokens` 및 `output_tokens` 그룹화 분석을 통한 비효율적 프롬프트 및 비용 이상 징후 탐색 - 규제 준수를 위해 LLM 로그의 보존 기간과 개인정보 마스킹 정책을 사전에 정의