노이즈 제거로 Hallucination 해결, Context Pruning 전략

Context

Raw top-k retrieval 방식의 단순 데이터 주입 구조. 불필요한 정보 유입으로 인한 LLM의 Hallucination 발생. Context Window 내 노이즈 증가로 인한 모델 attention 저하.

Technical Solution

• Dense Vector Retrieval을 통한 1차 top-k 후보군 추출 단계 구축
• Cross-Encoder Reranking 도입으로 쿼리 정렬 기준의 정밀한 점수 산출
• Semantic Similarity Threshold 설정을 통한 저효율 데이터 필터링
• Redundancy Elimination 로직 적용으로 중복 정보 제거 및 컨텍스트 최적화
• Multi-stage Filtering Pipeline 설계를 통한 고신호 데이터 선별 전달

Key Takeaway

데이터의 양보다 Signal-to-Noise Ratio 관점의 전처리가 RAG 시스템의 생성 품질을 결정하는 핵심 설계 원칙.