Deterministic Fallback Chain을 통한 LLM 운영 비용 $0 달성

Context

다양한 LLM 기반 서비스 운영 시 발생하는 API 비용 부담과 Rate Limit으로 인한 가용성 저하 문제 분석. 단일 Provider 의존 시 발생하는 서비스 중단 리스크를 해결하기 위한 고가용성 비용 최적화 구조 필요.

Technical Solution

• Groq Free Tier API Key 5개를 순차적으로 순회하는 Tier 1 계층 설계를 통한 비용 제로화 구현
• Rate Limit 또는 API 에러 발생 시 DeepSeek v4-flash로 전환되는 Tier 2 Fallback 구조 채택
• GCP Vertex AI Gemini 2.5 Pro를 Subprocess CLI 형태로 호출하여 지역별(us-central1 $\rightarrow$ europe-west1 $\rightarrow$ europe-west4) 2차 Fallback 체인 구성
• 모든 AI 모델 호출 실패 시 사전에 정의된 Python f-string 템플릿을 통한 Tier 4 Deterministic Response 보장
• 요청 결과의 텍스트 길이(400자 이상)를 검증하여 유효하지 않은 응답 발생 시 하위 Tier로 즉시 전환하는 품질 필터링 로직 적용