Asymmetric Retrieval 해결을 위한 HyDE 기반 가상 문서 임베딩 전략

Context

사용자의 일상어 쿼리와 전문 용어 중심의 문서 간 벡터 거리 차이로 인한 Asymmetric Retrieval 문제 발생. 단순 Vector Search 기반의 RAG 시스템은 키워드 불일치 시 관련 문서 추출 실패라는 한계를 가짐.

Technical Solution

• Few-shot Prompting을 통해 사용자 쿼리를 전문 문서 스타일의 가상 답변(Hypothetical Document)으로 변환하는 단계 추가
• 쿼리 자체를 검색하는 대신 LLM이 생성한 가상 문서의 벡터를 사용하여 Vector Store에서 유사도 검색 수행
• 질문(Short/Informal)과 답변(Long/Professional)의 불균형을 Symmetric 구조로 전환하여 검색 정밀도 향상
• 전문 분야(Legal 등)의 Linguistic DNA를 반영한 프롬프트 설계를 통해 도메인 특화 검색 최적화
• LLM의 생성 능력과 Embedding 모델의 유사도 계산 능력을 결합한 2단계 파이프라인 구축