Cohere가 데이터 중재(Data Arbitrage), 다국어 선호도 학습, 안전 튜닝, 모델 병합을 결합해 Aya Expanse 8B/32B 모델을 개발해 다국어 성능에서 새로운 최고 수준 달성
A Deepdive into Aya Expanse: Advancing the Frontier of Multilinguality
Hugging Face PEFT가 LoRA 어댑터 병합을 위해 Concatenation, Linear/Task Arithmetic, DARE, TIES 4가지 방식을 추가해 메모리 효율적인 온더플라이 병합 지원
🤗 PEFT welcomes new merging methods
Segmind가 Feed-Forward 레이어를 Mixture-of-Experts 레이어로 교체하여 여러 확산 모델을 하나의 프레임워크로 통합
SegMoE: Segmind Mixture of Diffusion Experts