LLM 기반 Query Rewriting을 통한 RAG Recall 최적화 및 비용 효율적 성능 개선

Context

사용자의 짧고 모호한 쿼리와 문서의 풍부한 문맥 간 Lexical Mismatch로 인한 Retrieval 성능 저하 발생. 단순 Embedding 모델 교체나 Reranker 도입은 비용 및 연산 오버헤드가 높아 효율적인 해결책이 되지 못하는 한계 존재.

Technical Solution

• Index 진입 전 단계에 Query Rewriting 레이어를 배치하여 Search Key를 최적화하는 구조 설계
• Multi-query Expansion을 통한 쿼리 변형 생성 및 Reciprocal Rank Fusion(RRF) 적용으로 검색 표면적 확대 및 정밀도 향상
• Step-back Rewriting을 통해 구체적 질문을 상위 추상화 질문으로 변환하여 광범위한 컨텍스트 문서 확보
• Parallel Search 구조를 채택하여 N개의 검색 요청 시 전체 Latency를 가장 느린 단일 요청 수준으로 유지
• 쿼리 길이 기반 게이팅(Gating) 및 결과 캐싱(Caching)을 적용하여 불필요한 LLM 호출 비용 최소화
• 소형 모델(Mini Model) 활용으로 고성능 모델 대비 Latency는 낮추고 리라이팅 품질은 유지하는 최적점 도달