Hugging Face Optimum Intel과 fastRAG를 활용해 BGE 임베딩 모델을 CPU 최적화하여 Xeon 기반 RAG 파이프라인의 문서 인덱싱·쿼리 인코딩·리랭킹 레이턴시 단축

Context

의미 검색 기반 RAG 애플리케이션에서 임베딩 모델의 인코딩 연산은 높은 지연시간과 처리량 제약을 초래한다. 특히 대규모 문서 컬렉션 인덱싱, 실시간 쿼리 인코딩, 다중 문서 리랭킹 과정에서 계산 효율성이 성능 병목이 된다.

Technical Solution

• Optimum Intel 라이브러리 도입: Intel AVX-512, VNNI, AMX 명령어 집합을 활용한 저수준 런타임 최적화 적용
• 정량화 기법 적용: BGE 모델을 INT8 정적 정량화(bge-small-en-v1.5-rag-int8-static, bge-large-en-v1.5-rag-int8-static)로 변환
• fastRAG 라이브러리 연동: QuantizedBiEncoderRetriever와 QuantizedBiEncoderRanker 컴포넌트로 최적화된 모델을 RAG 파이프라인에 통합
• 문서 저장소 구성: InMemoryDocumentStore 사용 및 update_embeddings()를 통한 배치 인코딩 처리
• 파이프라인 구축: retriever → ranker 2단계 구조로 초기 검색 후 의미적 리랭킹 수행

Impact

아티클에 정량적 성능 수치(레이턴시 감소량, 처리량 증가율, 에너지 소비 절감)가 명시되어 있지 않음.

Key Takeaway

경량 임베딩 모델(100-350M 파라미터)은 CPU 기반 의미 검색에 최적화될 수 있으며, 정량화와 CPU 가속 명령어 활용을 통해 엣지·온프레미스 환경에서도 RAG 시스템의 실시간성을 확보할 수 있다.