UserId 태그 전파를 통한 LLM 사용자별 비용 추적 아키텍처

Per-user cost attribution for your AI APP

Dangel Jesus Rodríguez2026년 5월 21일5분intermediate

AI 요약

Context

LLM API 도입 후 사용자별 정밀한 비용 산정 체계 부재로 인한 운영 비용 가시성 저하 문제 발생. 요청-응답 사이클 내에서 개별 사용자의 토큰 소비량을 추적할 수 있는 Instrumentation 구조의 필요성 증대.

AsyncLocalStorage를 활용하여 Request Boundary에서 userId를 캡처하고 하위 LLM 호출로 태그를 자동 전파하는 Wrapper 설계
Vercel AI SDK의 experimental_telemetry.metadata를 통한 OpenTelemetry 기반의 Span Attribute 표준화
HTTP 요청 경계가 없는 Background Worker 및 Autonomous Bot을 위한 Raw Event Emission 방식의 수동 로깅 구현
내부 식별자(Stable Identifier) 기반의 태깅을 통해 PII 유출을 방지하는 보안 레이어 적용
TenantId 추가 태그를 통한 Multi-tenant SaaS 환경의 고객사별/사용자별 계층적 비용 분석 구조 구축

실천 포인트

1. LLM 클라이언트를 Wrapper로 감싸 Request Boundary에서 사용자 식별자를 주입하고 있는가?

2. OpenTelemetry 표준을 준수하여 SDK 변경 시에도 추적 가능성을 유지하고 있는가?

3. PII(이메일, 이름 등) 대신 내부 Stable ID를 사용하여 Telemetry 데이터를 적재하고 있는가?

4. Multi-tenant 환경인 경우 userId와 tenantId를 분리하여 태깅하고 있는가?

태그