Xoul이 QEMU VM 격리 환경에서 로컬 LLM을 실행하여 호스트 시스템을 보호하면서 OS 수준의 자동화 작업을 수행하는 개인 AI 에이전트를 공개함

Context

로컬 LLM 기반 AI 에이전트는 편의성과 프라이버시 보호 측면에서 트레이드오프가 존재한다. 클라우드 API 방식은 데이터 프라이버시 위험이 있고, 완전한 로컬 실행은 호스트 시스템 안전성 확보가 어렵다. 사용자는 개인 데이터를 외부에 노출하지 않으면서도 안전한 자동화 환경이 필요하다.

Technical Solution

• Xoul Agent → QEMU 가상 머신 내에서 모든 작업을 격리된 환경에서 실행
• LLM 추론 → Ollama를 통해 로컬 GPU에서 직접 처리하여 데이터 외부 전송 차단
• 파일 관리, 이메일, 웹 검색, 코드 실행, 캘린더 → 18개 내장 도구로 OS 수준 작업 지원
• 커뮤니티 기여 → Xoul Store에서 워크플로우, 페르소나, 코드 스니펫을로 가져오기 및 배포
• 멀티 클라이언트 지원 → Desktop(PyQt6), Telegram, Discord, Slack, CLI 등 다양한 채널로 접근

Impact

VRAM 용량에 따라 Nemotron-3-Nano 4B(~5GB)부터 Nemotron-Cascade-2 30B(~20GB)까지 최적 모델 자동 권장 GPU 없이도 BGE-M3 임베딩과 Qwen 2.5 3B 서머리제이션을 CPU-only 모드로 실행 가능

Key Takeaway

VM 격리 아키텍처는 에이전트의 위험한 동작으로부터 호스트 시스템을 완벽히 보호하며, 동시에 로컬 LLM 사용으로 프라이버시를 유지하는 설계이다.