Open-Source AI Stack을 통한 Local-to-Cloud 추론 환경 최적화

Context

Closed API 기반 AI 서비스의 높은 토큰 비용 및 데이터 프라이버시 제약 발생. 기존 Local LLM 환경의 복잡한 의존성 관리와 Production 단계의 낮은 처리량(Throughput) 문제가 병목 지점으로 작용.

Technical Solution

• Docker-like 추론 런타임인 Ollama를 통한 OS 독립적 Local LLM 배포 및 Cloud Tier로의 원활한 Scale-out 구조 확보
• vLLM 도입을 통한 Production 환경의 동시 요청 처리 최적화 및 추론 처리량 극대화
• Unsloth 기반 VRAM 최적화 기법을 적용하여 Consumer GPU에서의 파인튜닝 진입 장벽 제거
• Browser Use 라이브러리를 활용해 API 미지원 Web UI를 DOM 기반으로 제어하는 Agentic Workflow 구현
• Open WebUI를 통한 RAG Pipeline 및 Multi-user Auth 계층의 Self-hosted 인터페이스 구축
• Continue IDE 플러그인을 통한 개발 워크플로우 내 Local LLM 통합