Docker 기반 GPU VRAM 점유 모델 식별을 위한 경량 모니터링 대시보드 구축

Context

NVIDIA GPU 환경에서 다수의 Docker 컨테이너와 LLM 서버(Ollama, vLLM 등) 운영 중 VRAM 점유 모델 식별을 위한 수동 분석 과정의 비효율성 발생. Prometheus-Grafana-DCGM-Exporter로 이어지는 무거운 스택이 단일 노드 환경에서 과도한 리소스 오버헤드를 유발하는 한계점 노출.

Technical Solution

• nvidia-smi PID 기반의 cgroup 추적을 통한 Docker 컨테이너 자동 매핑 구조 설계
• Ollama(/api/ps), vLLM(/v1/models) 등 개별 모델 서버 API 쿼리를 통한 로드 모델 식별 로직 구현
• 데이터 저장소로 SQLite를 채택하여 무거운 시계열 데이터베이스 의존성 제거
• Read 시점에 데이터 Downsampling을 수행하여 저장 공간 효율성과 쿼리 성능 최적화
• Docker Compose 기반의 단일 컨테이너 배포 체계를 통한 인프라 복잡도 최소화