agent-cost-tracker 라이브러리를 통해 AI 에이전트의 API 호출 비용을 단계별로 추적하고 시각화하여 예측 불가능한 비용 증가 방지

Context

AI 에이전트는 반복 루프와 사고의 연쇄로 인해 비용 예측이 불가능하며, 동일한 작업도 API 호출 횟수가 5회에서 50회까지 변동한다. 사용자는 청구 대시보드를 열 때까지 실제 비용을 파악할 수 없어 비용 관리가 불가능한 상태에 놓인다.

Technical Solution

• Monkey-patching 기법으로 OpenAI와 LiteLLM 클라이언트의 chat.completions.create 및 chat.completions.acreate 메서드를 감싸기
• CostTracker 컨텍스트 매니저로 에이전트 코드를 래핑하여 자동으로 라이브러리 패치 및 복원 수행
• API 응답 인터셉션을 통해 usage 객체에서 prompt_tokens와 completion_tokens 추출
• 모델별 최신 가격 목록(gpt-4-turbo, claude-3-opus 등)을 기반으로 각 호출의 정확한 비용 계산 및 로깅
• Plotly로 생성된 자체 포함 HTML 파일의 상호작용형 Sankey 다이어그램을 통해 도구별 비용 시각화

Key Takeaway

에이전트의 비용을 측정하고 제어하려면 먼저 시스템을 투명하게 가시화해야 하며, 이를 통해 모델 선택, 도구 사용, 단계별 구성 간의 트레이드오프를 데이터 기반으로 의사결정할 수 있다.