피드로 돌아가기
GeekNewsAI/ML
원문 읽기
Show GN: 완전하게 로컬에서 돌리는 AI 페르소나 시뮬레이터
Ollama 기반 Air-gapped Local Multi-Agent 시뮬레이터 구현
AI 요약
Context
클라우드 API 기반 AI 서비스의 데이터 유출 위험과 개인정보 보호 제약 사항 발생. 민감 문서 기반의 시나리오 시뮬레이션을 위해 외부망 연결이 차단된 완전한 로컬 환경의 AI Workbench 필요성 대두.
Technical Solution
- Ollama 엔진을 통한 Local LLM 구동으로 데이터 외부 유출을 원천 차단한 Air-gapped 환경 설계
- PDF, Markdown, Text 문서로부터 Ontology 및 Graph를 자동 추출하여 페르소나의 지식 베이스로 활용하는 파이프라인 구축
- Flask Backend와 Vue 3/Vite Frontend의 분리 구조를 통해 시뮬레이션 제어 및 결과 시각화 효율성 확보
- Docker Compose 기반의 컨테이너화를 통한 배포 복잡도 제거 및 환경 일관성 유지
- SearXNG 연동을 통한 Self-hosted Search 기능을 추가하여 외부 API 없이 정보 확장 가능성 확보
- Gemma4 및 OSS 20B/120B 모델 최적화를 통한 고성능 Multi-agent 상호작용 로직 구현
실천 포인트
1. 민감 데이터 처리를 위해 Ollama 기반의 Local LLM 도입 검토
2. 외부 API 의존성을 제거한 Self-hosted Search(SearXNG) 적용 가능성 확인
3. 문서 기반 Ontology 추출을 통한 LLM 페르소나의 정교한 컨텍스트 주입 설계
4. Docker Compose를 활용한 AI 스택의 원클릭 배포 환경 구축