피드로 돌아가기
The RegisterAI/ML
원문 읽기
Inference Cost 최적화를 위한 Token 기반 Metered Billing 전환
Microsoft's GitHub shifts to metered AI billing amid cost crisis
AI 요약
Context
기존 Request-based Billing 구조로 인한 고비용 Prompt 처리 시의 수익성 악화 발생. 복잡한 추론이 필요한 요청과 단순 질의의 비용 차이를 반영하지 못하는 Flat-rate 모델의 한계 노출.
Technical Solution
- 단순 요청 횟수 측정 방식에서 Input/Output/Cached Token 기반의 Metered Billing 체계로 전환
- 모델별 상이한 Token 단가를 추상화하기 위한 가상 통화 단위 'GitHub AI Credits'($0.01) 도입
- 비결정적(Non-deterministic) 비용 발생 문제를 해결하기 위한 Preview Bill 경험 제공
- Code Completion 및 Next Edit Suggestions는 무제한 제공하여 Core UX 유지 및 비용 통제 분리
- 고비용 프리미엄 모델에 대한 Multiplier 상향 조정을 통한 Inference 인프라 부하 제어
- 월간 Credit 할당량 초과 시 Overflow Budget 설정을 통한 유연한 리소스 제어 로직 구현
실천 포인트
- AI API 도입 시 Token 소비량에 따른 Cost Model을 정의했는가 - 입력/출력/캐시 토큰별 차등 과금 체계가 아키텍처에 반영되었는가 - 비결정적 비용 발생에 대비한 사용자 알림 및 비용 예측 인터페이스를 설계했는가 - 서비스 핵심 기능(무료/무제한)과 부가 기능(유료/제한)의 인프라 경로를 분리했는가