LLM Attribution 도입으로 월 $2,772 비용 절감 및 Enterprise 적자 구조 해결

Context

기존 모니터링 도구가 총 지출 비용만 제공하여 기능별/사용자별 비용 기여도 파악이 불가능한 구조. LLM 호출의 성공 여부와 비용 효율성을 구분하지 못해 에러 없는 고비용 설계 결함이 방치된 상황.

Technical Solution

• Application과 LLM Provider API 사이에 Instrumentation 레이어를 배치하여 호출 시점의 메타데이터 캡처
• Feature, User, Service 3개 차원의 태그를 모든 LLM Call에 부여하는 Attribution 아키텍처 설계
• Compliance Checker의 실행 시점을 '30초 주기 Autosave'에서 '수동 트리거 및 제출 시'로 변경하여 불필요한 호출 제거
• Audit Trail Narrator의 생성 조건을 '모든 변경 사항'에서 '최소 3회 이상의 Human Edit 발생 시'로 제한하여 데이터 낭비 방지
• Microservice 간 중복 호출을 식별하기 위해 Service Layer 수준의 트래킹을 도입하여 중복 Prompt 제거
• 사용량 기반(Usage-based) 과금 체계로 Enterprise 플랜을 전환하여 Unit Economics 최적화