OpenAI 호환 인터페이스 기반의 BYOP 커스텀 LLM 제공자 통합 환경 구축

Context

다양한 LLM 제공자의 상이한 API 규격으로 인한 통합 관리의 어려움 발생. 개별 모델의 Base URL과 API Key를 매번 수동으로 설정해야 하는 운영 효율성 저하 문제 해결 필요.

Technical Solution

• OpenAI API Specification을 표준 인터페이스로 채택한 클라이언트 추상화 계층 설계
• .toml 설정 파일을 통한 Base URL, API Key, Model 명칭의 동적 바인딩 구조 구현
• DeepSeek 등 외부 추론 엔진과의 연결을 위한 Generic HTTP Client 라이브러리 활용
• Server-Sent Events(SSE) 기반의 Streaming 응답 처리 로직 구현으로 실시간 토큰 출력 최적화
• /chat/completions 엔드포인트 단일화를 통한 백엔드 모델 교체 비용 최소화 설계