Custom Wrapper 기반 LLM 비용 Attribution 시스템 구축

Context

OpenAI 기본 Billing Dashboard의 낮은 데이터 해상도로 인한 비용 분석 한계 발생. 단순 모델별 합산으로는 특정 Feature, Customer, Route별 정확한 비용 산출 및 실시간 이상 비용 감지가 불가능한 구조적 제약 존재.

Technical Solution

• API Wrapper 도입을 통한 모든 LLM Request의 강제 메타데이터 태깅 구조 설계
• request_id 기반 Idempotency 보장으로 재시도 시 발생하는 비용 중복 집계 방지
• Write-time Cost Calculation 방식을 적용하여 가격 변동 시점의 데이터 정합성 유지
• structured log를 통한 feature, route, customer_id, environment 차원 기반의 비용 집계 체계 구축
• Real-time Event Stream 기반의 모니터링으로 Billing Dashboard의 수십 분 지연(Latency) 문제 해결
• Provider/Endpoint별 비용 산정 로직을 분기 처리하여 멀티 LLM 확장 가능성 확보