피드로 돌아가기
Self-host Open WebUI + Ollama in production — the config nobody writes about
Dev.toDev.to
Infrastructure

WebSocket 최적화와 GPU Passthrough를 통한 Production급 LLM 인프라 구축

Self-host Open WebUI + Ollama in production — the config nobody writes about

Jedsadakorn Suma2026년 4월 17일1분intermediate

AI 요약

Context

Local 개발 환경의 Quickstart 설정을 Production 환경으로 확장하는 과정에서 발생하는 네트워크 및 보안 제약 사항 분석. 기본 설정 시 발생하는 스트리밍 응답 지연과 무분별한 계정 생성 문제를 해결해야 하는 상황.

Technical Solution

  • WebSocket Streaming 구현을 위한 Nginx의 proxy_http_version 1.1 및 Upgrade 헤더 설정
  • 대용량 문서 및 이미지 업로드 처리를 위한 client_max_body_size 50M 확장
  • WEBUI_AUTH 및 ENABLE_SIGNUP 설정을 통한 관리자 중심의 계정 생성 권한 제어
  • nvidia-container-toolkit 기반의 GPU Passthrough 설정으로 CPU 연산 병목 제거
  • Docker Volume 마운트를 활용한 Alpine 기반의 정기적 데이터 백업 파이프라인 구축

실천 포인트

1. LLM 스트리밍 서비스 설계 시 Reverse Proxy의 WebSocket 설정 및 Timeout 값 검토

2. GPU 가속을 위한 Container Runtime의 Driver Capability 설정 확인

3. Production 배포 전 기본 Auth 설정 변경 및 가입 경로 차단 여부 점검

4. 상태 저장 데이터(Stateful) 컨테이너의 주기적 스냅샷 백업 스케줄링 적용

태그

#GPU Passthrough#Docker#Ollama#Nginx#Open WebUI
원문 읽기