학습 안정성과 추론 효율을 극대화한 Modern Transformer 설계 전략
How Modern Transformer Blocks Work — From RMSNorm to MoE
KV Cache 최적화를 통한 1.3TB OOM 위험 제거 및 메모리 효율 8배 개선
KV Cache Is Eating Your VRAM — Here's How to Estimate It Before You Run Out
Krea 2: 오픈 가중치 12B 이미지 모델 기술 보고서
12B DiT 기반의 창작 탐색형 이미지 모델 Krea 2 설계 및 학습 전략
KV Cache 최적화를 통한 LLM 추론 속도 향상 및 메모리 병목 해결
Why KV Cache Matters — How MQA, GQA, and MLA Make LLM Inference Faster
MSA 도입으로 1M 컨텍스트 연산 비용 28.4배 절감 및 코딩 성능 확보
MiniMax M3 Explained: The Sparse Attention Breakthrough
MiniMax M3 大模型注意力机制上所做的重大颠覆与优化
Sparse Attention과 Tile I/O 최적화로 1M 컨텍스트 계산량 20배 절감
Q-K=V Weight Tying을 통한 KV Cache 최대 96.9% 절감 및 추론 효율 극대화
Do Transformers Need Three Projections? Systematic Study of QKV Variants
KV Caching 및 GQA 도입을 통한 LLM 추론 병목 해결 및 VRAM 최적화
How to Optimize LLM Inference with KV Caching
Gemma 4 MTP 은폐후 커뮤니티가 파헤치고, Google이 뒤늦게 우회 지원
MTP 도입을 통한 Gemma 4 코드 생성 속도 3배 향상 및 아키텍처 분석
HuggingFace가 SmolLM3 3B 모델의 아키텍처와 11.2T 토큰 학습 레시피를 공개해 Llama-3.2-3B, Qwen2.5-3B 대비 성능 우위 달성
SmolLM3: smol, multilingual, long-context reasoner
Hugging Face가 Lower Precision, Flash Attention, 아키텍처 혁신(Alibi, Rotary embeddings, MQA, GQA)을 조합해 LLM 프로덕션 배포 시 VRAM 요구량 및 추론 지연 감소
Optimizing your LLM in production