VRAM 기반 모델 최적화 및 통합 워크스페이스를 구현한 59k 스타 오픈소스 AI 스택

Context

기존 Self-hosted AI UI들이 모델 서빙 설정의 복잡성과 파편화된 도구 체계로 인해 진입 장벽이 높았던 한계 존재. 특히 사용자의 하드웨어 제약을 고려하지 않은 모델 추천으로 인한 런타임 오류 및 설정 비용 과다 발생.

Technical Solution

• 하드웨어 스캔을 통한 VRAM 분석 및 270개 이상의 모델 중 최적 모델을 자동 매칭하는 Cookbook 로직 설계
• GGUF, FP8, AWQ 등 양자화 포맷 분석을 통한 vLLM, llama.cpp, Metal 백엔드의 동적 선택 구조 채택
• Event Loop Lockup 방지를 위해 Streaming API를 제외한 모든 요청에 45초의 Hard Timeout 적용
• Cloudflare Tunnel 환경에서 Localhost 우회로 인한 인증 누락을 막기 위해 Forwarding Header 검증 로직 구현
• UTF-8 BOM 처리를 통한 Windows 환경의 .env 설정 파일 파싱 오류 해결로 설정 일관성 확보
• Chat, Agent, Email(IMAP/SMTP), Calendar(CalDAV)를 단일 데이터 폴더 기반으로 통합한 로컬 퍼스트 아키텍처 구축