Embedder-Vector 일체화 구조를 통한 벡터 검색 일관성 확보

Context

Vector Index 저장 시 Embedder 모델이 분리되어 발생하는 데이터 불일치 문제 분석. 모델 변경 시 기존 벡터와의 차원 불일치로 인해 검색 결과가 오염되지만 시스템 에러가 발생하지 않는 잠재적 결함 존재.

Technical Solution

• Embedder 모델을 단일 binary cartridge 파일 내부에 포함하는 일체형 저장 구조 설계
• 데이터 로드 시 저장된 모델을 즉시 복원하여 모든 Read 및 Write 작업의 Embedder 일관성 유지
• Dimension Guard 도입을 통한 모델 불일치 시 Garbage 결과 반환 방지 및 Keyword Search로의 Fallback 처리
• Cross-process Write-lock 위치를 폴더 외부로 이동시켜 다수 도구 간의 안전한 단일 파일 공유 환경 구축
• Session Auto-compact 전 Memory Save 및 복원 로직 구현을 통한 장기 세션 문맥 유지