Combining Specialist Models Without Data Sharing: A Federated Learning Approach for Superior Integration

Context

기존 모델 fusion 접근법은 데이터나 그래디언트를 공유해야 하므로 민감한 데이터셋과 리소스 부족 언어에 대한 협업이 어렵다. 또한 specialist 모델들의 보완적 강점을 효과적으로 활용하지 못해 multidomain 애플리케이션의 성능이 제한된다.

Technical Solution

• Independent fine-tuning: 기본 모델 체크포인트를 여러 당사자에게 분배하고 각각 도메인 또는 언어별로 독립적으로 fine-tuning하여 데이터 프라이버시 확보
• Checkpoint collection: Fine-tuned specialist 모델들의 체크포인트만 수집하며 데이터나 그래디언트는 노출하지 않음
• MoE router training: 500단계 학습으로 수집된 specialist 모델들을 기반으로 Mixture of Experts 라우터 학습하여 각 입력에 가장 적절한 specialist 동적 선택
• Model fusion: MoE 라우터의 gating 함수가 specialist 출력값을 가중치로 집계하여 specialist들의 보완적 강점 활용
• Gain prediction: 공식(gain = 0.82 × divergence − 2.72)을 통해 base 모델으로부터의 divergence 기반 성능 향상도 사전 예측
• Unsupervised domain overlap discovery: 라우터가 의료·화학 분야 간 영역 중복 같은 도메인 오버랩을 자동으로 식별

Key Takeaway

KALAVAI는 specialist 모델 간 divergence가 클수록 MoE 라우터의 동적 라우팅 효과가 높아지는 구조로, 데이터 프라이버시를 유지하면서 다중 도메인·다국어 환경에서 generalist 모델 성능을 향상시키는 핵심 설계 원칙을 제시한다.