Hugging Face Inference API와 Sentence Transformers를 활용해 사전학습된 임베딩 모델로 FAQ 검색 시스템을 구축하고 코사인 유사도로 가장 유사한 문서를 식별

Context

사용자 쿼리에 대응하는 FAQ를 수동으로 찾는 것은 확장성이 낮고 의미 기반 매칭이 불가능합니다. 텍스트 임베딩을 통해 13개의 Medicare FAQ를 벡터 공간에 변환하고 의미적 유사도를 계산해야 했습니다.

Technical Solution

• 사전학습 모델 선택: sentence-transformers/all-MiniLM-L6-v2 모델을 Sentence Transformers 라이브러리에서 선택해 텍스트를 384차원 벡터로 변환
• Hugging Face Inference API 활용: POST 요청으로 텍스트 배치를 전송해 feature-extraction 파이프라인 실행 (첫 요청은 모델 다운로드로 약 20초 소요, 재시도 로직 적용)
• 벡터 저장 및 호스팅: 임베딩된 FAQ 벡터를 Hugging Face Hub에 무료로 저장
• 유사도 계산: sentence_transformers.util.semantic_search 함수로 쿼리 임베딩과 데이터셋 임베딩 간 코사인 유사도 계산해 상위 5개 결과 반환
• 결과 매핑: corpus_id 인덱스를 사용해 유사도 점수가 높은 FAQ 텍스트를 원본 텍스트 목록에서 추출

Key Takeaway

사전학습된 임베딩 모델과 오픈소스 도구(Sentence Transformers)를 활용하면 ML 전문 지식 없이도 의미 기반 검색 시스템을 빠르게 구축할 수 있으며, 임베딩은 검색, 분류, 추천 등 다양한 산업 애플리케이션의 기반이 될 수 있습니다.