개발팀이 RAG 아키텍처를 Naive → Advanced → Modular → Agentic로 단계적으로 진화시켜 LLM 할루시네이션 문제 해결 및 다양한 프로덕션 요구사항 충족

Context

LLM 애플리케이션은 학습 데이터의 시간적 한계와 회사 비공개 데이터 접근 불가능으로 인한 할루시네이션 문제를 겪고 있다. 단순한 '검색-후-읽기' 파이프라인은 데모에서는 작동하지만 프로덕션 환경에서는 낮은 정확도와 재현율로 인해 실패한다.

Technical Solution

• Naive RAG 구현: User Query → Vector Search → Top K Chunks → LLM → Answer 흐름으로 기본 지식 기반화 실현
• Advanced RAG 도입: Query Rewriting/Expansion → Hybrid Search → Re-Ranking(Cross-Encoder) → LLM 단계로 구성해 관련도 없는 컨텍스트 필터링 및 쿼리 변환(HyDE, step-back prompting)으로 의미론적 간격 해소
• Modular RAG 적용: Query → Router → (Search Module / Memory Module / API) → Fusion → LLM 구조로 라우터가 SQL/Vector Search/Keyword Search 중 적절한 도구 선택
• Agentic RAG 구성: Agent Plans → Tool Use(Search/Calc) → Self-Correction → Final Answer 흐름으로 다중 문서 정보 결합 및 자체 검증 능력 확보

Key Takeaway

RAG는 단일 기법이 아닌 아키텍처 스펙트럼이며, 시스템 복잡도와 정확도 요구사항에 따라 단계적으로 진화해야 한다. 대부분의 프로덕션 시스템은 Advanced RAG로 안정성을 확보하되, 다중 단계 추론이 필수인 경우에만 Agentic 워크플로우를 도입해야 한다.