다중 AI 모델 사용량 실시간 추적으로 Rate Limit 장애 방지

Context

AI 제공사별 분산된 대시보드와 서로 다른 Reset Window 체계. 사용량 가시성 부족으로 인한 예기치 못한 Rate Limit 발생. 개발 흐름을 방해하는 잦은 대시보드 확인 과정.

Technical Solution

• macOS Menu Bar 기반의 실시간 사용량 모니터링 앱 TokenBar 설계
• Claude, Gemini, OpenRouter 등 약 20여 개 AI 제공사의 Usage Endpoint 폴링 구조
• 사용률 백분율, 잔여 크레딧, 리셋 카운트다운을 포함한 통합 데이터 뷰 제공
• 현재 사용 속도 기반의 임계치 도달 예측 Pace Indicator 로직 구현
• IDE 전환 없이 즉각적인 상태 확인이 가능한 Glanceable UI 전략 채택
• 상황에 따라 최적의 AI 모델로 전환하도록 유도하는 워크플로우 최적화

Key Takeaway

파편화된 외부 API의 상태 정보를 단일 인터페이스로 통합하여 인지 부하를 줄이고 업무 연속성을 확보하는 관측성(Observability) 설계의 중요성.