32GB RAM 제약 환경 내 k3s 기반 MLOps 풀스택 홈랩 구축

Building a Production-Grade MLOps Home Lab on Windows — K8s, LLM, RAG & GitLab CI

Slimane BOUHADI2026년 5월 23일11분intermediate

AI 요약

Context

클라우드 비용 부담 및 단순 학습용 Minikube의 한계를 극복하기 위해 실제 Production-Grade 환경의 로컬 재현 필요성 대두. Windows 11 호스트 환경에서 리소스 격리와 관리 편의성을 동시에 확보해야 하는 기술적 제약 존재.

Multipass를 통한 Ubuntu VM 구축으로 Windows 호스트와 개발 환경의 완전한 격리 및 상태 관리 최적화
k3s 경량 Kubernetes 배포를 통한 리소스 오버헤드 최소화 및 Docker 런타임 기반의 컨테이너 오케스트레이션 구현
GitLab SaaS 활용을 통해 Self-hosted GitLab CE 도입 시 발생하는 6GB 이상의 RAM 낭비를 제거하고 CI/CD 파이프라인 효율성 확보
Ollama와 llama3.2:1b 모델 채택으로 GPU 없이 CPU 환경에서 1.3GB 수준의 저전력 RAG 실험 체계 구축
Prometheus, Grafana, Loki 기반의 Observability 스택을 통해 Pod 단위의 리소스 사용량 실시간 모니터링 및 OOMKill 방지
HashiCorp Vault 도입을 통한 Secret Management 체계 구축으로 보안 요구사항 충족

실천 포인트

1. Windows 환경 Multipass 설치 시 Chocolatey 대신 winget을 사용하여 OS 플랫폼 호환성 문제 방지

2. 공유 VM 내 Pod 간 리소스 간섭 방지를 위해 limits.memory 설정을 통한 Resource Quota 강제 적용

3. CPU 기반 LLM 실험 시 모델 파라미터 크기를 1B 수준으로 낮춰 Memory Swap 발생 억제

4. 호스트 OS의 RAM 점유율을 먼저 분석한 후 VM 할당량을 결정하는 Resource Budgeting 수행

태그