Hugging Face가 Mixtral-8x7B를 활용해 30만 개 파일, 250억 토큰 규모의 합성 데이터셋 Cosmopedia를 생성하고 오픈소스화하여 Phi-1.5 성능 재현
Cosmopedia: how to create large-scale synthetic data for pre-training Large Language Models
Hugging Face가 오픈소스 LLM을 ReAct 에이전트 프레임워크로 구현하여 Mixtral-8x7B가 GPT-3.5를 벤치마크에서 초과 달성
Open-source LLMs as LangChain Agents
Mistral이 Mixture of Experts 아키텍처로 Mixtral 8x7B를 출시해 45B 파라미터로 70B 밀집 모델 수준의 추론 속도 달성
Welcome Mixtral - a SOTA Mixture of Experts on Hugging Face