Tiered Routing 설계를 통한 API 비용 95% 절감 및 CI/CD 로그 분석 최적화

Context

방대한 양의 raw log를 LLM에 직접 입력하는 Brute-Force 방식에 따른 토큰 낭비와 비용 증가 발생. 내부 IP 등 민감 정보 유출 위험과 컨텍스트 윈도우 제한으로 인한 Hallucination 문제 직면.

Technical Solution

• Ollama 기반 Llama-3-8B 모델을 통한 Local Compression 단계 도입으로 노이즈 제거 및 핵심 Signal 추출
• Cascadeflow를 활용한 Tiered Execution Hierarchy 설계로 작업 복잡도에 따른 모델 라우팅 수행
• Confidence Threshold(0.88) 설정을 통해 단순 오류는 Local에서 처리하고 복잡한 이슈만 Cloud로 Escalation
• API Budget Cap 설정을 통한 실행 단위당 비용 상한선 제어 및 예산 초과 시 Local Fallback 강제 전환
• In-process Runtime Intelligence Layer 구축을 통한 데이터 Sanitization 및 보안 퍼리미터 유지
• Network Partition 및 API 한계 상황에 대비한 Dual-mode Fallback 구조 설계로 가용성 확보