11μs 오버헤드로 20+ LLM을 통합한 OpenAI 호환 AI Gateway 설계

Context

다양한 클라우드 벤더(AWS, GCP, Native API)의 LLM 사용으로 인한 SDK 파편화와 인증 체계의 복잡성 증대. 각 제공자별 상이한 Request Shape와 Failover 로직의 개별 구현에 따른 유지보수 비용 상승.

Technical Solution

• OpenAI-compatible API를 단일 진입점으로 설계하여 상위 애플리케이션 계층의 SDK 의존성 제거
• Provider별 상이한 프로토콜(Converse, Messages, generateContent)을 단일 규격으로 변환하는 Protocol Translation 레이어 구축
• IAM, OAuth2, Bearer Token 등 파편화된 인증 체계를 Gateway 수준에서 추상화하여 단일 설정 인터페이스 제공
• 모델명, 가상 키, 가중치 기반의 Routing Rule을 통한 지능적 트래픽 분산 및 자동 Failover 메커니즘 구현
• Prometheus 및 OpenTelemetry 기반의 Unified Observability를 통해 전 제공자 통합 메트릭 및 비용 추적 체계 마련
• VPC 내 배포를 통한 데이터 외부 유출 방지 및 전용 가드레일 적용으로 보안 거버넌스 강화

Impact

• 초당 5,000건의 요청 처리(5,000 RPS) 성능 확보
• 요청당 추가 지연 시간 11마이크로초(11μs) 수준의 극소 오버헤드 달성

Key Takeaway

멀티 벤더 전략의 복잡성을 애플리케이션 레이어가 아닌 인프라 레이어(Gateway)에서 추상화하여 개발 생산성과 시스템 안정성을 동시에 확보하는 설계 원칙.