ONNX와 RRF 기반 Hybrid Search 구현으로 검색 정밀도 및 효율 극대화

Context

전통적인 Keyword Search의 단순 단어 매칭 한계로 인한 동의어 및 의미론적 검색 누락 발생. RAG 시스템 내 단순 검색 단계의 성능 저하가 전체 파이프라인의 품질을 결정짓는 병목 지점으로 작용함.

Technical Solution

• PyTorch/CUDA 의존성을 제거한 ONNX Runtime 기반의 lightweight embedder 채택으로 배포 환경 제약 해소
• 384차원 Vector 공간으로의 텍스트 임베딩 및 Cosine Similarity 기반의 의미론적 유사도 측정 구현
• Document Dilution 방지를 위해 2,000자 크기의 Overlapping Chunking 전략을 적용하여 검색 정밀도 향상
• Vector Search의 의미론적 강점과 Keyword Search의 정확한 용어 매칭 강점을 결합한 Hybrid Search 설계
• 서로 다른 스코어 체계를 가진 두 검색 결과를 순위 기반으로 통합하는 Reciprocal Rank Fusion(RRF) 알고리즘 적용

Impact

• ONNX 모델 도입으로 설치 크기 30배 감소 및 GPU 없이 CPU 환경에서 구동 가능
• Chunking 적용을 통한 LLM 입력 토큰 소모량 3배 절감
• 67MB 규모의 경량 모델로 리소스 제한 환경 내 Vector Search 구현 성공

Key Takeaway

단일 검색 엔진의 한계를 극복하기 위해 서로 다른 검색 메커니즘을 결합하고, RRF와 같은 순위 기반 통합 전략을 통해 시스템의 견고함을 확보하는 Hybrid Architecture의 중요성 확인.