학습 안정성과 추론 효율을 극대화한 Modern Transformer 설계 전략
How Modern Transformer Blocks Work — From RMSNorm to MoE
16MB 제한 내 bpb 1.0810 달성을 위한 초소형 LLM 최적화 설계
What is OpenAI's Parameter Golf Challenge, and why I spent a month on it
Google이 Gemma 3 모델군을 출시하여 문맥 길이를 128k 토큰으로 확장, 멀티모달 및 140+ 언어 지원 구현
Welcome Gemma 3: Google's all new multimodal, multilingual, long context open LLM
Transformer 모델에서 위치 인코딩 방식을 Integer → Sinusoidal → Rotary Positional Encoding(RoPE)으로 단계적 진화시켜 최신 LLama 3.2에 적용
You could have designed state of the art positional encoding