Hybrid Vector-Graph 구조 도입으로 Hallucination 42% 감소 및 버그 4.3배 개선

Context

Pure Vector Store 기반의 RAG 아키텍처가 엔티티 간의 Relational Context를 처리하지 못해 Relevance 92% 급락 및 잘못된 정보 제공 문제 발생. 단순 Similarity 기반 검색으로는 복잡한 관계 추론이 불가능하여 Relational Boundary를 넘어서는 쿼리에서 Mismatch Rate가 84%까지 상승하는 한계 확인.

Technical Solution

• Vector-first retrieval 후 Graph-second validation을 수행하는 하이브리드 파이프라인 설계
• Pinecone을 통한 Top-k 후보군 추출(<10ms) 후 Neo4j의 Cypher Query로 Relational Constraint 검증 수행
• Graph Edge-weight decay(주당 0.03) 적용을 통해 조직도 등 동적인 실세계 데이터의 시의성 반영
• Graph-validated Entity ID 기반의 In-memory Cache를 구축하여 중복 쿼리에 대한 Latency 최적화
• LLM 입력 전 단계에서 Graph Filter를 통해 불가능한 경로(Impossible Itineraries)를 사전 제거하여 컨텍스트 무결성 확보

Impact

• Hallucination 발생률 42% 감소 및 메모리 오용 관련 Post-release Bug 4.3배 감소
• 토큰 소비량 31% 절감(월 약 $4,200 비용 절감) 및 Cache Hit Rate 68% 달성
• 3-hop 쿼리 기준 Latency 약 560ms 증가했으나, 정확도 향상으로 인한 정성적 이득 확보
• 스케줄링 어시스턴트의 Deadline 미준수 티켓 수를 스프린트당 14개에서 3개로 단축

Key Takeaway

Dense Embedding은 데이터의 유사도는 찾지만 관계(Edge)는 인식하지 못하므로, 고밀도 관계 추론이 필요한 도메인에서는 Vector Store를 검색 엔진으로, Graph Store를 검증 엔진으로 사용하는 계층적 구조 설계가 필수적임.