Why Most RAG Systems Fail in Production (And How to Design One That Actually Works)

Context

RAG 시스템은 데모 환경에서는 정상 작동하지만 프로덕션 배포 후 사용자의 모호한 질의, 부분적 문맥 반환, 그리고 환각 응답으로 인해 신뢰성이 저하된다. 기존 접근법은 임베딩이나 벡터 데이터베이스 성능만 최적화하지만, 실제 실패 원인은 시스템 전체의 구조 설계 결함이다.

Technical Solution

• 구조 인식 파싱 도입: PDF 레이아웃, 테이블, 헤더/푸터를 보존하고 단순 길이 기반이 아닌 의미 기반 청크 생성
• 하이브리드 검색 구현: 벡터 검색(의미 유사도)과 BM25 키워드 검색(정확 매칭)을 함께 실행 후 재순위화
• 재순위 모듈 추가: Cross-encoder를 사용해 검색된 청크 쌍(query, chunk)을 평가하고 실제 관련성 기준으로 재정렬
• 제어된 문맥 구성: 상위 순위 청크만 선택, 문서 구조 보존, 토큰 예산 집행, 순서 유지
• 대화 기록 필터링: 전체 히스토리를 무조건 추가하지 않고 관련 턴만 선택, 틀린 응답 제외, 사용자 수정 정보 우선 처리
• 검증 및 신뢰 신호 추가: 검색 점수(40%) + 재순위 점수(40%) + 검증 신호(20%)로 신뢰도 계산, 모든 응답에 출처 문서와 섹션 참조 첨부
• 선택적 에이전틱 RAG: 다단계 질의나 동적 검색이 필요한 경우에만 계획-반복 루프 추가

Key Takeaway

RAG 시스템 실패는 검색 알고리즘 문제가 아니라 문서 파싱부터 응답 검증까지 전체 파이프라인의 구조 설계 결함이다. 파싱→검색→재순위→문맥 구성→검증으로 이어지는 명확한 단계별 설계와 각 단계의 제어 가능성이 프로덕션 안정성의 핵심이다.