Gateway Trace 기반의 Request-level Attribution으로 AI 비용 가시성 확보

Context

Provider Invoice 중심의 비용 분석은 모델별 사용량만 제공하여 실제 비용 유발 팀이나 사용자 식별이 불가능한 한계 존재. 이로 인해 LLM 비용이 $9,000에서 $17,500로 급증하는 상황에서도 구체적인 원인 파악과 책임 소재 규명이 어려움.

Technical Solution

• Gateway를 Choke Point로 설정하여 모든 Request에 team_id, user_id, feature_name을 포함한 Trace 데이터 강제 주입
• Application Layer와 Gateway 간의 데이터 분리를 방지하기 위해 Request 시점에 Ownership 정보를 직접 Stamp 하는 구조 설계
• Raw Trace를 기반으로 input/output/cache/tool/retry cost를 합산하여 Request-level Cost Ledger로 정규화
• 단순 사용량 집계가 아닌 prompt_template_version 및 workflow_name을 추적하여 릴리스에 따른 Token Volume 증가분 분석
• Attribution(원인 분석) 단계를 우선 구축하여 정치적 판단을 배제한 데이터 기반의 Chargeback 체계 마련

Impact

• 릴리스 변경에 따른 Token Volume 27% 증가 원인 정밀 분석 가능
• 월 $5,000 ~ $50,000 규모의 LLM API 비용에 대한 5분 이내의 팀별/유저별 정산 리포트 생성 가능