피드로 돌아가기
GeekNewsAI/ML
원문 읽기
Odysseus - 셀프 호스팅 AI 워크스페이스
로컬 퍼스트 설계 기반의 통합 AI 워크스페이스 Odysseus 구축
AI 요약
Context
기존 AI 서비스의 중앙 집중식 클라우드 의존성과 프라이버시 침해 문제를 해결하려는 요구 증가. Open WebUI와 같은 기존 오픈소스 솔루션의 무거운 종속성과 기능적 제한을 극복한 경량 통합 환경 필요.
Technical Solution
- vLLM, llama.cpp, Ollama 등 다양한 Backend 엔진을 추상화한 멀티 모델 서빙 구조 설계
- ChromaDB와 fastembed(ONNX) 기반의 벡터 및 키워드 하이브리드 검색을 통한 영속 Memory 구현
- opencode 기반의 MCP 및 셸/파일 시스템 연동을 통한 자율적 Agent 실행 환경 구축
- llmfit 기반의 VRAM 인식 및 GGUF/FP8/AWQ 최적화 모델 추천 및 자동 서빙 프로세스 적용
- PWA 및 반응형 인터페이스 채택을 통한 모바일 셸 기반의 로컬 퍼스트 개발 환경 일관성 유지
- CalDAV 프로토콜을 활용한 Radicale, Nextcloud 등 로컬 캘린더 시스템과의 동기화 아키텍처 설계
실천 포인트
- 로컬 LLM 도입 시 하드웨어 리소스(VRAM)에 따른 모델 양자화 버전(GGUF, AWQ) 자동 매칭 로직 검토 - 단순 챗봇을 넘어선 Agent 구현을 위해 시스템 셸 및 파일 시스템 접근 권한의 샌드박스 설계 적용 - 검색 정확도 향상을 위해 단순 벡터 검색이 아닌 키워드 기반 검색을 결합한 하이브리드 RAG 구조 채택