피드로 돌아가기
Dev.toAI/ML
원문 읽기
5종 LLM CLI 통합 및 HTTP 기반 Multi-tenant 보안 게이트웨이 구현
Going Remote, Without Going Reckless: Multi-LLM Orchestration and the New Front Door in llm-cli-gateway 2.9.0
AI 요약
Context
기존 localhost 기반 stdio 통신 구조로 인한 원격 접근 불가능 및 신뢰 경계(Trust Boundary) 설정의 한계 존재. 단일 모델의 답변에 의존하는 낮은 신뢰도와 비동기 작업의 상태 유지 부재로 인한 운영 효율성 저하 상황.
Technical Solution
- HTTP 인터페이스 도입 및 OAuth 2.0(PKCE 기본 적용)과 Static Bearer Token을 통한 인증 체계 구축으로 원격 접근 보안 강화
- Owner Principal 기반의 멀티테넌시 설계로 세션, 작업, 요청 데이터의 엄격한 격리 및 접근 제어 구현
- 5종의 벤더 CLI(Claude, Codex, Gemini, Grok, Mistral)를 단일 MCP Tool Surface로 추상화하여 모델 간 교차 검증 및 Red-teaming 가능 구조 설계
- SQLite 기반의 Durable Job Store를 구축하여 45초 초과 요청의 자동 비동기 전환 및 최대 30일간의 결과 보존 처리
- 1시간 이내 동일 요청에 대한 Live Job 재연결 로직을 통해 중복 리소스 낭비 방지 및 응답성 개선
- Fail-closed 원칙을 적용한 설정 검증 레이어와 Secret Redaction이 포함된 Flight Recorder 로그 시스템 구축
실천 포인트
- LLM 오케스트레이션 설계 시 단일 모델 신뢰 대신 서로 다른 벤더 제품군을 조합한 교차 검증 프로세스 검토 - 장시간 실행되는 LLM 작업의 경우 Sync-to-Async 자동 전환 및 Job ID 기반의 상태 관리 패턴 적용 - 외부 노출 게이트웨이 설계 시 IdP-agnostic 구조를 유지하며 Trusted-Principal-Header를 통한 유연한 인증 연동 고려