벡터 검색의 한계를 Neo4j 그래프 구조로 극복하고 문서 간 관계 추론이 가능한 RAG 시스템을 구축했다

Context

벡터 기반 RAG는 수백 개의 기술 문서와 계층적 정보를 처리할 때 컨텍스트 창 폭발이나 중요한 관계 누락 문제가 발생한다. 문서 간 인용과 참조를 추적하려면 의미적 유사도만으로는 한계가 있다.

Technical Solution

• 문서를 Chapter → Section → Subsection 계층 구조로 파싱한다
• 계층적 트리를 Neo4j 노드와 [:HAS_SECTION], [:HAS_SUBSECTION], [:REFERENCES] 관계로 저장한다
• LLM이 문서 루트에서 시작하여 필요한 분기만 반복적으로 탐색한다
• 문서 A의 인용을 문서 B의 원본 [:REFERENCES] 에지로 연결한다
• 전체 문서를 로드하지 않고 관련 하위 노드만 가져온다

Impact

수백만 개의 문서를 RAM 문제 없이 영구 저장하고 탐색할 수 있다.

Key Takeaway

벡터 유사도 검색 대신 구조적 탐색을 선택하면 문서 관계를 정확히 파악하면서 최소한의 컨텍스트 토큰만 사용한다.