개인정보 유출 제로, Local LLM 기반 프라이빗 이메일 에이전트 구축

Context

클라우드 AI 서비스 이용 시 개인 민감 정보 유출 위험 존재. 대규모 이메일 데이터 처리 시 토큰 기반 과금 비용 부담 증가. 데이터 주권 확보와 비용 절감을 위한 로컬 실행 환경 필요.

Technical Solution

• n8n을 Docker로 배포하여 Gmail과 Telegram 간의 단순 메시지 브리지 역할 수행
• FastAPI 기반의 Python 웹서비스를 구축하여 LLM 추론, DB 쿼리, Gmail API 제어 등 핵심 비즈니스 로직 집중 처리
• Llama 8B 모델의 Q8_0 양자화 버전을 적용하여 소비자용 GPU 메모리 한계 내에서 구조화된 JSON 출력 품질 유지
• ChromaDB의 Semantic Search와 SQLite FTS5의 Keyword Search를 결합한 Hybrid Search 체계 설계
• Telegram HTML 파서의 특수문자 처리 오류 방지를 위해 라우트 레벨에서 html.escape() 적용
• 30개 이상의 액션을 정의한 Tool-use 구조를 통해 자연어 입력에서 파라미터 추출 및 기능 실행 자동화

Impact

• 단일 이메일 요약 처리 시간: 2~3.5s
• 단일 이메일 Embedding 처리 시간: 0.1s 미만
• 대량 임포트 처리량: 분당 약 5개 이메일
• Hybrid Search 응답 시간: 약 3s
• RAG 기반 Q&A 응답 시간: 약 7s
• 자연어 의도 분류 시간: 약 4s
• 하드웨어 사양: RTX 4080 Mobile (12GB VRAM), 32GB RAM
• 모델 메모리 점유: Llama 8B Q8_0 기준 약 9GB VRAM

Key Takeaway

복잡한 통합 워크플로우는 n8n과 같은 로우코드 툴로 단순화하고, 핵심 도메인 로직은 FastAPI와 같은 코드 기반 서비스로 분리하여 유연성과 유지보수성을 동시에 확보하는 전략.