LangChain 콜백과 Kong Metering 기반 AI Agent 과금 시스템 구축

Context

AI Agent 서비스의 정액제 모델은 헤비 유저로 인한 손실과 라이트 유저의 이탈을 초래하는 한계 존재. 모델 종류에 상관없이 요청 단위의 Token 사용량을 정밀하게 측정하고 이를 청구 금액으로 전환하는 Metering 파이프라인 필요.

Technical Solution

• LangChain Callback Handler를 통한 입력/출력 Token 수치 실시간 캡처
• 캡처된 데이터를 Customer ID 기반의 CloudEvents 형식으로 변환하여 Kong Konnect로 전송
• Kong의 Metering 엔진을 통해 특정 Event의 Token 필드를 합산하고 Plan별 Rate Card를 적용하는 구조 설계
• RunId 기반의 Event ID 생성을 통한 중복 데이터 제거 및 Idempotency 보장
• 모델별 가격 차등 적용을 위해 Meter Group Filter에 모델 식별자를 추가하는 세그멘테이션 전략 채택
• 인프라 복잡도 최소화를 위해 별도의 Sidecar나 Ingestion Worker 없이 직접 API 호출 방식 적용