피드로 돌아가기
GeekNewsAI/ML
원문 읽기
Show GN: 로컬에서 작동하는 회의녹취 및 Decision Wiki 검색 시스템
Apple Silicon 기반 로컬 LLM을 활용한 보안 특화 Decision Wiki 시스템 설계
AI 요약
Context
외부 API 사용이 제한된 보안 환경 내 회의 데이터 유출 방지 필요성 증대. 단순 전사를 넘어 결정 사항의 원문 근거 확보와 재검색 효율성을 높이는 지식 관리 구조의 부재 해결을 목표로 함.
Technical Solution
- 데이터 보안 확보를 위해 모든 파이프라인을 로컬 인프라 내에서 처리하는 Local-first 아키텍처 설계
- Apple Silicon M4(16GB) 리소스 제약을 고려한 Gemma 2B 기반의 경량 LLM 채택을 통한 교정 및 요약 수행
- Pyannote 모델을 통한 화자 분리로 회의 참여자별 발화 맥락을 정밀하게 구분하는 전사 프로세스 구축
- ChromaDB의 Vector Search와 SQLite FTS5의 Full-text Search를 결합한 하이브리드 검색 구조 구현
- 결정 사항과 Action Item을 Markdown Wiki로 정형화하고 Timestamp를 연결해 원문 추적성을 확보한 데이터 모델링
- 로컬 모델 실행을 위한 HuggingFace Gated Model 인증 체계 및 환경 설정 최적화
실천 포인트
1. 보안 요구사항이 높은 도메인에서 Local LLM 기반의 RAG 파이프라인 구축 검토
2. 검색 정확도 향상을 위해 Vector DB와 전통적인 FTS5 검색 엔진의 하이브리드 구성 적용
3. LLM 요약 결과의 신뢰성 확보를 위해 원문 데이터와의 Timestamp 매핑 구조 설계