Parent-Child Chunking 도입으로 RAG의 정밀도와 문맥 유지력 동시 확보

My RAG Pipeline Was 84% Confident — And Completely Wrong.

Garvit Singh2026년 4월 25일7분intermediate

AI 요약

Context

Self-RAG 및 CRAG 기법을 적용한 고도화된 파이프라인임에도 불구하고, 낮은 Retrieval Relevance 상황에서 Web Search Fallback으로 인한 잘못된 근거 기반의 고신뢰도 오답 생성 발생. 특히 페이지 경계로 인해 정보가 분절된 Chunking 구조가 정확한 문서 검색의 병목 지점으로 작용함.

Technical Solution

Small-to-Big Retrieval 전략을 위한 Parent-Child Chunking 구조 설계
Precision 확보를 위해 700 characters 규모의 Child Chunk를 FAISS 벡터 DB에 저장
Context 풍부함을 위해 2100 characters 규모의 Parent Chunk를 별도 저장 및 연결
Child Chunk 검색 후 metadata의 parent_id를 통해 상위 Parent Chunk를 LLM에 전달하는 로직 구현
Retrieval Relevance 점수를 하드웨어적 실패 신호로 간주하는 모니터링 체계 구축
LangGraph StateGraph 기반의 중간 상태 로깅을 통한 Pipeline 경로 추적 및 디버깅 환경 조성

실천 포인트

- Chunking 전략 설계 시 데이터의 논리적 경계가 물리적 페이지 경계와 일치하는지 검토 - 검색 정밀도(Small Chunk)와 생성 문맥(Large Chunk)의 트레이드오프 해결을 위해 Parent-Child 구조 적용 - LLM의 Confidence Score보다 Retrieval Relevance 점수를 우선적인 신뢰 지표로 설정 - RAG 파이프라인의 모든 중간 노드에 대한 Instrumenting 및 로깅 구현

태그

#Parent-Child Chunking #Vector DB #RAG #CRAG #LangGraph

원문 읽기