피드로 돌아가기
Dev.toInfrastructure
원문 읽기
Local Control Plane 도입을 통한 다중 LLM 프로토콜 통합 및 라우팅 효율화
I Wired Qwen and OpenRouter Into Claude Code and Codex Without New Configs
AI 요약
Context
다양한 AI 코딩 도구가 각각 서로 다른 API 프로토콜(Anthropic Messages, OpenAI Chat Completions 등)을 요구함에 따라 발생하는 설정 파편화 문제 발생. 개별 도구마다 API Key와 Base URL을 중복 설정해야 하는 운영 오버헤드와 모델 교체 시의 높은 설정 비용이 병목 지점으로 작용.
Technical Solution
- CliGate를 Local Control Plane으로 배치하여 모든 코딩 도구의 요청을 localhost:8081로 단일화한 아키텍처 설계
- Provider Preset 구조를 도입하여 Qwen, OpenRouter 등 신규 제공자를 단순 데이터 정의(ID, API Format, Base URL)만으로 확장 가능하게 구현
- Anthropic Messages ↔ OpenAI Chat 간의 양방향 프로토콜 변환 브릿지를 구축하여 Claude Code와 같은 특정 도구의 호환성 확보
- Tool Call 및 Tool Result의 무손실 전송을 위한 프로토콜 매핑 로직 적용
- OpenRouter의 모델 카탈로그 특성을 반영하여 '/' 포함 모델 ID의 Native Slug Pass-through 룰 적용
- Codex의 /responses 엔드포인트 요청을 Chat Completions Fallback으로 처리하는 추상화 레이어 구성
실천 포인트
- 서로 다른 API 규격을 가진 다수 모델 사용 시, 개별 설정 대신 API Gateway 형태의 중계 레이어 검토 - 모델별 고유 식별자(Slug)를 유지해야 하는 경우, 맵핑 테이블 외에 특정 패턴의 Pass-through 규칙 정의 - 클라이언트 도구의 종속성을 제거하기 위해 프로토콜 변환(Translation) 계층을 독립적으로 분리하여 설계