피드로 돌아가기
Dev.toAI/ML
원문 읽기
BGE-M3 Hybrid Search와 LangGraph를 통한 다국어 의료 RAG 최적화
From Panic to Paper: Building a Multilingual Medical RAG with BGE-M3 & Qdrant
AI 요약
Context
전통적인 Dense Vector 기반 RAG의 한계로 인한 전문 의료 용어 및 약어 검색 정밀도 저하 발생. 다국어 의료 문헌의 복잡한 구조와 전문성으로 인해 단순한 시맨틱 검색만으로는 정확한 정보 추출에 어려움이 존재함.
Technical Solution
- BGE-M3 모델 채택을 통한 Dense 및 Sparse Vector 동시 생성으로 의미론적 맥락과 핵심 키워드 매칭 동시 확보
- Qdrant의 Hybrid Indexing 구조를 활용하여 단일 포인트 내에 서로 다른 벡터 타입을 저장함으로써 검색 효율성 극대화
- PyMuPDF를 이용한 multi-column 레이아웃 파싱으로 의료 논문 특유의 복잡한 문서 구조에서 텍스트 추출 정확도 향상
- LangGraph 기반의 State Machine 설계를 통한 'Retrieve-Grade-Generate' 루프 구현으로 LLM Hallucination 억제
- Query Rewriter와 Reranker 단계를 추가하여 검색 결과의 정밀도를 높이는 다단계 파이프라인 구축
실천 포인트
- 전문 용어 비중이 높은 도메인인 경우 BM25 기반 Sparse Vector 지원 모델 검토 - 복잡한 PDF 문서 파싱 시 레이아웃 분석 능력이 뛰어난 라이브러리 선정 여부 확인 - LLM에 검색 결과를 그대로 전달하기 전, LangGraph 등을 활용한 문서 적합성 평가(Grading) 단계 추가 - 검색 정확도 향상을 위한 Reranker 도입 및 RAGAS 기반의 정량적 평가 체계 구축