Pretraining 중심의 LLM Training Stack 표준화 및 LLM-OS 아키텍처 정립
The Man Who Summoned Ghosts | Chapter 2: The Training Stack Is Not a Secret
12.5% 전문가 서브셋만으로 풀 모델 성능을 구현한 EMO MoE 아키텍처
EMO: Pretraining mixture of experts for emergent modularity
DeepSeek V4의 1.6T MoE 구조와 GPT-5.5 아키텍처 전면 재설계 분석
Open-source AI I'm watching: DeepSeek V4, VibeVoice, and the n8n effect
Pretrain 단계의 'Flinch' 현상 발견 및 모델별 확률 억제 지표 정량화
Even 'uncensored' models can't say what they want
Hugging Face가 Mixtral-8x7B를 활용해 30만 개 파일, 250억 토큰 규모의 합성 데이터셋 Cosmopedia를 생성하고 오픈소스화하여 Phi-1.5 성능 재현
Cosmopedia: how to create large-scale synthetic data for pre-training Large Language Models