All-local RAG 파이프라인 구축을 통한 데이터 보안 및 컨텍스트 정밀도 확보

Context

LLM의 학습 데이터 외 외부 코드베이스 및 내부 문서에 대한 인지 부재로 인한 답변 정확도 저하 발생. 데이터 유출 방지를 위해 API 기반 서비스 대신 Local LLM 환경에서의 지식 주입 구조 필요성 증대.

Technical Solution

• Embedding 모델을 활용한 텍스트의 수치화로 단순 키워드 매칭이 아닌 의미론적 유사도 기반 검색 구현
• ChromaDB를 활용한 Vector Store 구축으로 대규모 데이터셋 내 최적 유사 벡터의 고속 Retrieval 수행
• Reranker 도입을 통한 Vector Search의 낮은 정밀도 보완 및 실제 관련성 기반의 상위 결과 재정렬
• 코드 특성에 맞춘 함수 및 클래스 단위의 Chunking 전략 적용으로 컨텍스트의 논리적 완전성 유지
• LangChain을 오케스트레이터로 활용하여 Chunking, Embedding, Storage, Generation으로 이어지는 파이프라인 통합 관리
• 답변 완료 후 Q&A 쌍을 다시 ChromaDB에 저장하는 피드백 루프를 통해 지속적인 지식 베이스 확장