Build a Domain-Specific Embedding Model in Under a Day

Context

범용 임베딩 모델은 인터넷 전반의 의미론적 유사성을 학습하지만, 계약서, 제조 로그, 화학식 등 도메인 특화 표현의 세부 구분을 이해하지 못한다. 이로 인해 RAG 시스템의 검색 성능이 저하되며, 기존 임베딩 모델 파인튜닝은 전문 기술을 요구하고 시간 투자가 과도했다.

Technical Solution

• 합성 데이터 생성(SDG): NeMo Data Designer를 활용해 LLM(nvidia/nemotron-3-nano-30b-a3b)이 도메인 문서를 자동 분석하여 쿼리-문서 쌍 생성, 라벨링 없음
• 하드 네거티브 마이닝: 관련성 있어 보이지만 부정답인 문서를 훈련 데이터에 포함시켜 모델의 미묘한 구분 능력 강화
• 멀티홉 쿼리 생성: 단순 팩트 조회(복잡도 2~3)부터 인과관계 추론이 필요한 질문(복잡도 4~5, 홉 개수 1~3)까지 다양한 유형의 훈련 데이터 생성
• 경량 모델 파인튜닝: Llama-Nemotron-Embed-1B-v2(10억 파라미터) 기반 바이인코더를 단일 A100/H100 GPU(80GB)에서 약 1시간 파인튜닝
• 표준 형식 기반 통합: JSON, BEIR, ONNX 형식을 사용하여 각 단계(SDG, 데이터 준비, 파인튜닝, 평가, 내보내기, 배포)를 독립 실행 가능하도록 설계

Impact

• NVIDIA 공개 문서 데이터셋 적용 시 Recall@10과 NDCG@10 각각 10% 이상 개선
• Atlassian JIRA 데이터셋 적용 시 Recall@60이 0.751에서 0.951로 26% 향상(단일 GPU 기준)
• 소규모 코퍼스(약 500개 문서) 기준 전체 파이프라인 완료 시간 약 2~3시간, 전체 대규모 파이프라인 완료 시간 1일 이내

Key Takeaway

도메인 문서만 준비되면 LLM 기반 합성 데이터 생성과 경량 파인튜닝으로 범용 임베딩 모델을 빠르게 특화시킬 수 있으며, 하드 네거티브 마이닝과 멀티홉 질의 생성이 검색 품질 향상의 핵심 요소다. 표준 형식 사용으로 파이프라인의 각 단계를 조합하거나 기존 워크플로우에 통합할 수 있는 유연성을 확보했다.