피드로 돌아가기
I Cancelled My $240/Year ChatGPT Subscription. 30 Days Later, My Laptop Knows Me Better Than GPT-4 Ever Did.
Dev.toDev.to
AI/ML

Local LLM 및 Vector DB 기반의 개인형 AI Knowledge Base 구축

I Cancelled My $240/Year ChatGPT Subscription. 30 Days Later, My Laptop Knows Me Better Than GPT-4 Ever Did.

TheonaiaO2026년 6월 18일11분intermediate

AI 요약

Context

Cloud AI 서비스의 데이터 휘발성과 프라이버시 침해 문제를 해결하기 위한 로컬 인프라 전환 분석. 세션 종료 시 컨텍스트가 소실되는 Stateless 구조를 극복하고 사용자 고유 데이터를 영구적으로 참조하는 Statefull 시스템 필요성 대두.

Technical Solution

  • Local LLM 구동을 위한 Ollama 기반의 llama3.2:3b 및 mistral:7b 모델 배포
  • 텍스트의 의미론적 수치화를 위해 nomic-embed-text 모델을 활용한 768-dimensional vector 생성
  • PDF, Markdown 등 비정형 데이터를 300-word 단위로 분할하는 Chunking 전략 적용
  • 생성된 벡터 데이터를 Qdrant Vector Database에 저장하여 Cosine Distance 기반의 Semantic Search 구현
  • Docker Compose를 통한 9개의 컨테이너 기반 마이크로 서비스 아키텍처 구성
  • 시스템 안정성 확보를 위해 database connect_timeout=10 및 Ollama timeout=600 설정 적용

실천 포인트

- Local LLM 도입 시 CPU/RAM 리소스 제약을 고려한 모델 파라미터 사이즈 선정 - Vector DB 연동 시 서비스 행(Hang) 방지를 위한 엄격한 Timeout 설정 적용 - Windows 환경의 Docker Desktop 사용 시 WSL2 셧다운 및 재시작 프로세스 확보 - 다국어/특수문자 처리 시 표준 출력 인코딩(utf-8) 설정 확인

태그

#Local-LLM#Ollama#RAG#Vector Database#Semantic Search
원문 읽기