분산된 팀의 AI 추론 환경을 통합하는 Lightweight AI Gateway 아키텍처

Context

다양한 LLM Provider와 자체 Fine-tuned 모델을 혼용하는 분산 팀 환경에서 발생하는 Inference 관리의 혼란을 해결해야 하는 상황. 개별 팀이 모델을 직접 호출함에 따라 발생하는 인프라 파편화와 제어 불능 상태를 해결하기 위한 중앙 집중식 제어 레이어의 필요성 증대.

Technical Solution

• 분산된 Use Case 팀과 중앙 인프라 사이의 텐션을 해소하는 중앙 집중식 Inference Platform 구축
• 모델 품질, 데이터 거주성(Data Residency), 비용 및 성능 Trade-off를 고려한 Model Selection 로직 구현
• 대규모 트래픽 환경에서도 오버헤드를 최소화하기 위해 LiteLLM보다 경량화된 자체 AI Gateway 설계
• 각 팀이 필요한 모델을 요청하고 API Key를 발급받는 Request-based Provisioning 시스템 적용
• Agentic Workload의 증가에 대응하여 Use Case 팀이 직접 에이전트를 등록하고 관리하는 분산 책임 구조 채택