피드로 돌아가기
Dev.toAI/ML
원문 읽기
4단계 비용 계층화를 통한 AI API 가용성 확보 및 비용 최적화
Building a 4-Tier AI Cost Auto-Routing System with Supabase Edge Functions
AI 요약
Context
기존 provider.chat 로직의 거대한 switch-case 구조로 인한 코드 중복 및 유지보수 효율 저하 발생. 단일 Provider 장애 시 서비스 중단으로 이어지는 낮은 가용성 문제 해결 필요.
Technical Solution
- 비용 기준 4단계(Free, Budget, Performance, Premium)의 Tiered Architecture 설계
- 동일 Tier 내 순차적 시도 후 실패 시 상위 Tier로 전환하는 Auto-Escalation 로직 구현
- 거대 switch-case 문을 callSingleProvider 함수로 캡슐화하여 코드 중복 제거 및 로직 공유
- Supabase Edge Functions를 활용한 서버리스 환경의 요청 라우팅 체계 구축
- ai_hub_chat_logs 테이블을 통한 Provider별 비용 및 Escalation 빈도 추적 체계 마련
Impact
- Free Tier(DeepSeek, Groq 등) 우선 배정으로 대부분의 요청을 $0.0001/1K tok 수준의 저비용으로 처리
- 상위 Tier(Premium $0.05/1K tok)의 Quota 소진 시 하위 Tier로 자동 Fallback 하여 서비스 Uptime 향상
실천 포인트
1. 외부 API 의존성 제거를 위해 비용/성능 기반의 Multi-tier Fallback 전략 검토
2. 공통 호출 로직을 추상화하여 단일 요청(chat)과 자동 라우팅(chat_auto) 간 코드 재사용성 확보
3. API 호출 로그에 비용 및 Tier 정보를 기록하여 인프라 비용 예측 모델 구축