피드로 돌아가기
Dev.toInfrastructure
원문 읽기
Bifrost 게이트웨이 도입으로 LLM 장애 시 0% 실패율 달성
Fault-injecting our LLM provider to trust Bifrost fallbacks
AI 요약
Context
OpenAI API의 Rate-limit 및 5xx 에러로 인한 빌드 실패 요약 기능의 불안정성 발생. 서비스 코드 내에 Retry 및 Fallback 로직이 산재하여 유지보수 효율성이 저하된 구조적 한계 직면.
Technical Solution
- OpenAI 호환 API 게이트웨이인 Bifrost를 도입하여 인프라 계층에서 라우팅 및 장애 복구 로직 중앙화
- 다수 Provider(OpenAI, Anthropic 등)를 구성하고 설정 기반의 자동 Fallback 메커니즘 구축
- Toxiproxy를 활용한 Fault Injection 테스트를 통해 429/500 에러 및 Latency 지연 상황 시뮬레이션
- 과도한 재시도로 인한 p95 지연 시간 증가 문제를 해결하기 위해 Retry Ceiling 제한 설정
- 'Slow is not Down' 원칙에 따라 Request Timeout을 설정하여 응답 지연 시 즉각적인 Fallback 트리거 유도
- 단일 Go 바이너리 기반의 가벼운 배포 구조를 선택하여 운영 복잡도 최소화 및 Prometheus 메트릭 통합
실천 포인트
- 외부 LLM 도입 시 Provider별 Fallback 우선순위 및 모델 간 출력 스키마 호환성 검증 - 단순 Retry 설정 외에 최대 재시도 횟수(Ceiling)를 제한하여 연쇄적 지연 현상 방지 - 응답 지연(Latency) 상황을 장애로 간주하는 명확한 Request Timeout 임계치 설정 - Toxiproxy 등을 활용한 주기적인 Game Day 수행으로 장애 복구 경로의 실제 작동 여부 검증