Vector DB 없는 RAG, 계층 구조 추론으로 문서 분석의 한계 돌파

Context

전통적 RAG의 Chunking 방식은 문서의 계층 구조를 파괴하는 설계. 문맥 단절로 인한 정보 손실과 의미론적 유사성에 의존한 검색 노이즈 발생. Vector Database와 Embedding 파이프라인 운영에 따른 인프라 복잡도 증가.

Technical Solution

• 문서를 벡터화하는 대신 LLM을 활용해 섹션과 서브섹션을 구분한 계층적 트리 구조 인덱스 설계
• 각 노드에 섹션 제목, 문장 경계, 시맨틱 요약, 부모-자식 관계 정보를 포함하여 문서의 원본 조직 보존
• Vector Similarity Search를 배제하고 LLM이 트리 구조와 요약 정보를 직접 분석하여 관련 노드를 선택하는 Reasoning-based Retrieval 방식 도입
• 선택된 노드에서 정확한 텍스트를 추출하여 추론 모듈에 전달하는 컨텍스트 최적화 파이프라인 구축
• 인덱싱된 트리 구조를 JSON 형식으로 캐싱하여 반복적인 분석 비용을 절감하는 저장 구조 채택
• 검색 경로를 명시적으로 추적하여 답변의 근거가 되는 섹션을 투명하게 공개하는 Explainable Retrieval 구현

Key Takeaway

구조화된 지식 추출 시 단순 벡터 유사도보다 문서의 논리적 계층 구조를 보존하고 LLM의 추론 능력을 검색 단계에 결합하는 방식이 더 정확한 결과물을 생성함.