5개 LLM 무료 티어 통합, API 호출 제한 해결한 가상 게이트웨이 설계

Context

LLM 제공사마다 각기 다른 SDK와 인증 방식 및 Rate Limit 존재. 제공사별 가용 자원이 불균형하여 특정 API의 제한 도달 시 유휴 자원 활용 불가. 수동적인 제공사 전환 로직 작성으로 인한 개발 공수 증가.

Technical Solution

• OpenAI SDK 호환 엔드포인트를 구현하여 Base URL 변경만으로 마이그레이션 가능한 구조
• Sliding-window 알고리즘 기반의 독립적 Rate Limiter를 구축하여 제공사별 호출 한도 정밀 추적
• Circuit Breaker 패턴을 도입해 500 에러 발생 시 해당 제공자를 자동 제외하고 30초 주기 헬스체크 수행
• free-fast, free-smart, free 등 목적 기반의 메타 모델을 정의하여 지연 시간 및 성능 최적화 라우팅 구현
• Zod 라이브러리를 통한 요청 데이터 검증으로 잘못된 페이로드의 조기 차단 및 에러 응답 표준화
• React 기반 실시간 대시보드를 구축하여 제공사 상태와 요청 로그 및 Latency 가시성 확보

Impact

• Groq(30 req/min), Gemini(15 req/min), Cerebras(30 req/min), Mistral(5 req/min) 통합으로 총 약 80 req/min의 처리량 확보

Key Takeaway

추상화 계층(Gateway)을 통해 외부 API의 가변적인 제약 사항을 내부 시스템으로부터 격리하고, 서킷 브레이커와 라우팅 전략으로 시스템 가용성을 극대화하는 설계 방식.