모델 다변화와 Global API 도입을 통한 비용 12배 절감 및 p99 Latency 1.2s 달성

Context

단일 Frontier Model(GPT-4o) 의존으로 인한 과도한 운영 비용 지출과 채팅 인터페이스 특유의 Latency 민감도 해결 필요. 특히 p99 Latency 1.5s 초과 시 발생하는 사용자 경험 저하와 월간 활성 사용자당 비용 0.40$ 제한이라는 제약 사항 존재.

Technical Solution

• Global API 기반의 Unified Endpoint 구축을 통한 Provider 간 SDK 종속성 제거 및 모델 스위칭 유연성 확보
• 워크로드 특성에 따른 모델 계층화 전략(Tiering)을 적용하여 요약/분류 등 단순 작업은 DeepSeek V4 Flash 및 GLM-4 Plus로 처리
• 3개 리전(us-east-1, eu-west-1, ap-southeast-1)에 동일 설정을 배포하고 30초 주기 Health Check를 통한 자동 Traffic Shifting 구현
• p99 Latency가 5분 연속 2s를 초과할 경우 인접 리전으로 요청을 우회시키는 Failover 메커니즘 설계
• 429 Too Many Requests 응답 발생 시 상위 티어 모델로 즉시 요청을 재시도하는 Fallback 로직 적용