피드로 돌아가기
Dev.toAI/ML
원문 읽기
OpenAI 없이 S-PubMedBert와 ChromaDB로 구축한 Medical RAG 파이프라인
Building a RAG pipeline without OpenAI
AI 요약
Context
모델의 학습 데이터 의존성으로 인한 Hallucination 발생 및 최신 정보 반영 불가 문제 직면. 외부 지식 베이스를 실시간 참조하여 답변 정확도를 높이는 RAG 아키텍처 도입 필요성 대두.
Technical Solution
- 의료/과학 텍스트 특화 S-PubMedBert-MS-MARCO 모델 채택을 통한 도메인 최적화 Embedding 생성
- 768차원의 벡터 표현을 활용한 텍스트 의미론적 유사도 분석 체계 구축
- Local Vector Database인 ChromaDB 도입을 통한 밀리초 단위의 고속 지식 검색 구현
- Top-k Retrieval 방식으로 추출한 상위 3개 관련 문서를 Prompt에 주입하는 Context Injection 설계
- Fine-tuned 모델과 결합한 Pipeline 구성을 통해 외부 지식 기반의 근거 있는 답변 생성 로직 완성
실천 포인트
1. 도메인 특화 Embedding 모델 선정 여부 검토
2. Vector DB 내 저장 데이터의 정제 상태 및 Noise 제거 확인
3. Retrieval 단계의 Top-k 하이퍼파라미터 최적화 수행
4. 지식 베이스의 데이터 품질과 모델 성능의 상관관계 분석