ModernBERT 기반 32K 컨텍스트 지원 및 Sub-100M 최강의 다국어 임베딩 모델 구현

Context

기존 다국어 임베딩 모델은 광범위한 언어 지원을 위해 모델 크기가 비대해지거나, 소형 모델 채택 시 언어 커버리지와 검색 품질이 급격히 하락하는 Trade-off 발생. 특히 R1 모델의 512 토큰 제한으로 인한 긴 문서 처리의 한계 존재.

Technical Solution

• ModernBERT 아키텍처 도입을 통한 32,768 토큰의 확장된 Context Window 확보
• IBM GneissWeb 및 자체 큐레이션 데이터셋 기반의 고품질 학습 데이터 파이프라인 구축
• Matryoshka Embeddings 적용을 통해 벡터 차원 가변성과 검색 효율성 동시 확보
• 52개 주요 언어에 대한 Explicit Retrieval-pair 및 Cross-lingual 학습 수행
• Novel Pruning Methodology를 적용하여 311M 모델의 품질을 유지한 97M Compact 모델 설계
• 9가지 프로그래밍 언어 학습을 통한 Cross-lingual Code Retrieval 기능 통합

Impact

• 97M 모델: MTEB Multilingual Retrieval 60.3점 기록, 경쟁 모델(multilingual-e5-small) 대비 +9.4점 우위
• 311M 모델: MTEB Multilingual Retrieval 65.2점 기록, R1 대비 +13.0점 성능 향상
• Context Window: R1 대비 64배 증가한 32K 토큰 처리 가능
• 언어 커버리지: 200개 이상의 언어 지원 및 52개 언어 최적화

Key Takeaway

효율적인 모델 Pruning과 ModernBERT와 같은 최신 인코더 아키텍처의 조합을 통해 모델 파라미터 수를 1/3 수준으로 줄이면서도 성능 하락을 최소화하는 고밀도 임베딩 설계 가능