FastAPI 기반 경량 Proxy 도입을 통한 Multi-LLM 인터페이스 표준화

Context

다양한 AI 모델(GPT-4, Claude, Llama 2) 사용 시 각 제공자별 상이한 Auth Header 및 Request/Response Payload 구조로 인한 코드 복잡도 증가. 모델 추가 시마다 조건문 기반의 라우팅 로직이 비대해지며 유지보수 가능성이 급격히 저하되는 병목 현상 발생.

Technical Solution

• OpenAI API 규격을 표준으로 채택한 가벼운 Python 기반 Translation Proxy 서버 구축
• Model-to-Provider 매핑 테이블(MODEL_MAP)을 통한 요청 대상 모델의 동적 식별 및 엔드포인트 분기
• provider-specific payload 변환 함수를 구현하여 입출력 인터페이스를 OpenAI 포맷으로 통일
• StreamingResponse를 활용해 각 제공자의 서로 다른 스트리밍 데이터 포맷을 표준 델타(Delta) 형태로 변환하여 전달
• Sidecar 컨테이너 패턴으로 배포하여 메인 애플리케이션의 의존성을 단일 엔드포인트로 단순화
• LangChain 등 무거운 프레임워크 대신 단일 목적의 Thin Proxy를 선택하여 추상화 오버헤드 최소화