Show GN: vLLM Compose - Docker Compose 프로필로 여러 vLLM 모델을 쉽게 전환/서빙

Context

로컬에서 여러 LLM 모델을 서빙할 때 모델마다 docker 명령어를 재입력하고 GPU 설정을 수동 기억해야 했다. 상태 모니터링도 별도 도구 없이 개별 컨테이너를 확인해야 했다.

Technical Solution

• 로컬 LLM 개발자 → YAML 프로필에 모델별 설정을 저장하는 방식 제공
• 모델명만 입력하면 프로필과 설정을 자동으로 생성하는 Quick Setup 지원
• GPU 실시간 모니터링 대시보드와 hf-mem으로 메모리 사용량 사전 추정 가능
• vLLM 이미지에서 사용 가능한 인자를 Tab 키로 자동완성하는 기능 포함
• Docker Compose 프로필 기반 컨테이너 관리로 전환

Impact

docker 명령어 재입력 및 GPU 설정 기억 부담 해소

Key Takeaway

YAML 프로필 기반 TUI 인터페이스가 로컬 LLM 운영의 반복 작업을 간소화한다