12개 이상의 Provider를 통합한 Unified Inference Layer 설계로 AI Agent 신뢰성 확보

Context

AI Agent 구현 시 다수의 모델을 체이닝하는 구조로 인해 단일 Provider 장애가 전체 워크플로우의 연쇄 실패(Cascade Failure)로 이어지는 리스크 존재. 또한 모델 교체 주기 단축과 Provider별 파편화된 비용 관리 및 레이턴시 제어의 어려움이라는 아키텍처적 한계 직면.

Technical Solution

• AI.run() 바인딩 기반의 통합 API 엔드포인트를 구축하여 코드 한 줄의 변경만으로 Provider 간 전환이 가능한 추상화 계층 설계
• 동일 글로벌 네트워크 내에서 코드와 Inference를 실행하여 Public Internet 홉을 제거한 저지연 아키텍처 구현
• 다중 Provider 가용 모델에 대해 자동 Failover 로직을 AI Gateway 수준에서 처리하여 클라이언트측 복잡도 제거
• Streaming 응답을 AI Gateway에서 독립적으로 버퍼링하여 Agent 연결 단절 시 재연결을 통한 응답 복구 및 중복 과금 방지 메커니즘 적용
• Replicate의 Cog 기술을 도입하여 CUDA 의존성 및 가중치 로딩을 컨테이너화함으로써 사용자 정의 모델(BYOM)의 Workers AI 배포 환경 표준화
• 요청 시 Custom Metadata를 주입하여 워크플로우 및 사용자별 비용을 세분화해 모니터링하는 중앙 집중형 비용 관리 체계 구축