Vector Embedding Drift로 인한 $40K 손실 방지 및 RAG 관측성 확보

Context

12,000 queries/day를 처리하는 RAG 시스템에서 Embedding 모델 업데이트 후 기존 데이터의 Re-indexing 누락으로 인한 Vector Dimensional Drift 발생. 런타임 에러 없이 수학적으로 유효하지만 논리적으로 잘못된 결과가 반환되는 Ghost Bug로 인해 3주간 오판단 및 금전적 손실 초래.

Technical Solution

• Dimensionality Validation: Embedding 모델의 출력 차원(1536 vs 3072)과 DB 저장 벡터 차원을 비교하는 검증 로직을 CI/CD 파이프라인에 통합하여 불일치 시 배포 차단.
• Overlapping Chunking: 고정 크기 Chunking 시 발생하는 문맥 단절을 해결하기 위해 Metadata 기반의 Overlap 구간을 설정하여 정보 손실 방지 및 검색 정확도 향상.
• Runtime Config Schema: Temperature 등 LLM 파라미터의 임계값 검증 로직을 구현하여 분석 태스크에 부적합한 고온도 설정으로 인한 Hallucination 사전 차단.
• Golden Test Suite: 결정론적 결과가 보장되는 핵심 쿼리셋을 구성하여 주기적으로 실행하고, 예상 결과 및 유사도 임계값 미달 시 즉시 알람을 발송하는 모니터링 체계 구축.