5천만 척 규모 FAISS 인덱스 Data Drift 해결을 위한 최적 업데이트 전략

Context

개발 환경과 달리 운영 환경에서 데이터 진화로 인한 Embedding Index의 stale 상태 발생. 400GB 규모의 FAISS 인덱스가 최신 문서 내용을 반영하지 못해 LLM의 Hallucination 유발 및 검색 품질 저하 초래.

Technical Solution

• Incremental Upserts 및 Soft Delete 도입을 통한 변경분 위주 업데이트 구조 설계
• 문서 변경 시 영향을 받은 Chunk만 재임베딩하여 반영하는 효율적 갱신 메커니즘 적용
• Tombstone 기반의 삭제 처리와 Version 필드 관리를 통한 벡터 정합성 유지
• 인덱스 크기 비대화 방지를 위한 분기별 Compact 작업 수행 체계 구축
• Embedding Version Registry를 통한 모델 버전별 벡터 매핑 및 Hot Swap 가능 구조 검토
• 데이터 드리프트 임계치 기반의 선택적 Full Rebuild 트리거 로직 구현