GraphRAG 도입으로 Token 94.6% 절감 및 정확도 14%p 향상

Context

Basic RAG의 Vector Search 방식이 단순 Semantic Similarity에 의존하여 관계형 쿼리 처리 시 불필요한 Context를 과다하게 포함하는 문제 발생. 이로 인한 Token 비용 증가와 Noise 유입으로 인한 답변 정확도 저하가 핵심 병목 지점으로 분석됨.

Technical Solution

• TigerGraph 기반 Knowledge Graph 구축을 통한 Entity 및 Relationship 중심의 정밀 Context 추출 설계
• 단순 텍스트 유사도 검색 대신 Graph Traversal(2-3 hops) 방식을 적용하여 질문과 직접 연관된 데이터만 식별
• Louvain Algorithm 기반 Community Detection을 통한 도메인 지식의 구조적 클러스터링 및 요약 정보 활용
• LLM 답변 형식을 1-2문장으로 제한하는 Focused Prompt 설계로 정답 밀도를 높이고 불필요한 Token 생성 억제
• Llama-3.1-8b(Entity Extraction)와 Llama-3.3-70b(Final Answer)의 역할을 분리한 파이프라인 최적화

Impact

• Token 사용량: Basic RAG(평균 2,541 tokens) 대비 GraphRAG(평균 137 tokens)로 94.6% 감소
• 정확도: Judge Pass Rate 기준 50%에서 64%로 14%p 향상
• BERTScore F1: 0.7974에서 0.8826으로 상승하며 정밀한 정답 생성 확인

Key Takeaway

단순히 많은 Context를 제공하는 것이 성능 향상으로 이어지지 않으며, 데이터 간 관계가 복잡한 도메인에서는 Vector Search보다 Knowledge Graph를 통한 구조적 접근이 비용과 정확도 면에서 압도적 이득을 제공함.