피드로 돌아가기
Dev.toAI/ML
원문 읽기
Search-Synthesis 분리를 통한 RAG 검색 정밀도 및 컨텍스트 최적화
Sentence Window Retrieval
AI 요약
Context
표준 RAG 구조에서 발생하는 Chunk 크기의 딜레마 분석. 대규모 Chunk 사용 시 검색 모호성이 증가하며, 소규모 Chunk 사용 시 LLM에 제공되는 컨텍스트 부족으로 인해 추론 성능이 저하되는 한계 직면.
Technical Solution
- Search와 Synthesis 단계를 분리한 Sentence Window Retrieval 구조 설계
- Child Splitter를 통한 1~2문장 단위의 고정밀 Search Unit 생성으로 Vector Search 정확도 향상
- Parent Splitter를 활용한 주변 문맥을 포함하는 Window 기반 Context 확장 메커니즘 구현
- Child Chunk에 Parent ID를 매핑하여 Vector DB 검색 후 DocStore에서 확장 컨텍스트를 호출하는 역참조 로직 적용
- RecursiveCharacterTextSplitter를 이용한 계층적 텍스트 분할 및 매핑 구조 구축
- InMemoryStore 또는 Redis/PostgreSQL을 활용한 Parent-Child 관계의 효율적 저장 및 관리
실천 포인트
- 검색 정확도 향상을 위해 Vector DB에는 최소 단위의 문장(Child)을 인덱싱할 것 - LLM의 추론 능력 극대화를 위해 검색된 문장의 전후 문맥(Window)을 동적으로 확장하여 제공할 것 - 대규모 데이터 환경에서는 InMemoryStore 대신 Redis나 PostgreSQL 등 외부 Store를 통한 Parent-Child 매핑 관리 검토 - 도메인 특성에 맞는 최적의 Window Size(전후 문장 개수) 설정을 위한 실험적 검증 수행