Uber COO, tokenmaxxing에 쓰는 돈을 정당화하기가 점점 어려워지고 있다고 말해

Context

LLM 도입 이후 일부 기업에서 Token 사용량을 엔지니어 생산성 지표로 활용하는 Token-maxxing 현상 발생. 이는 과거 Google의 유휴 자원 활용 모델을 오해하여, 단순 소비량을 성과로 치부하는 잘못된 Metric 설정에서 기인함.

Technical Solution

• Priority 0 기반의 유휴 용량 처리 모델을 통해 비용 효율적인 내부 실험 환경 구축
• Token 소비량 중심의 평가를 지양하고 Task의 가치 기반 Token 효율성(Token Efficiency) 장려
• Batch API와 같은 비동기 처리 방식을 도입하여 처리 시간 유연성 확보 및 비용 50% 절감
• Knowledge Graph 도입을 통한 Context 최적화 및 Token 사용량 최소화 구조 설계
• 단순 코드 생성량보다 Code Review를 포함한 지속 가능한 생산성 향상 폭 정의