OpenAI-compatible Gateway 기반의 LLM 비용 Attribution 시스템 구축

Context

단일 계정 기반의 LLM Provider 인보이스만으로는 Feature, Tenant, User 단위의 정밀한 비용 추적이 불가능한 구조적 한계 존재. 이로 인해 특정 고객이나 기능에서 발생하는 예기치 못한 비용 급증을 제어하지 못해 마진 손실 위험이 발생하는 상황 분석.

Technical Solution

• OpenAI-compatible Gateway를 도입하여 앱과 다수 Provider 사이의 단일 Control Plane 구축
• Scoped API Key 체계를 통해 앱, 고객, 워크플로우 단위의 독립적 권한 및 비용 할당 수행
• Request Metadata(tenant_id, thread_id, feature_name 등) 강제 캡처를 통한 비용 데이터의 분석 플랫폼화
• Budget Enforcement 로직을 적용하여 예산 소진율(50% 알림, 80% 저가 모델 전환, 100% 차단)에 따른 단계적 Fallback 전략 실행
• 기존 SDK의 base_url 변경만으로 통합 가능한 추상화 계층 설계로 코드 수정 최소화