KV Caching 및 GQA 도입을 통한 LLM 추론 병목 해결 및 VRAM 최적화
How to Optimize LLM Inference with KV Caching
Gemma 4 MTP 은폐후 커뮤니티가 파헤치고, Google이 뒤늦게 우회 지원
MTP 도입을 통한 Gemma 4 코드 생성 속도 3배 향상 및 아키텍처 분석
HuggingFace가 SmolLM3 3B 모델의 아키텍처와 11.2T 토큰 학습 레시피를 공개해 Llama-3.2-3B, Qwen2.5-3B 대비 성능 우위 달성
SmolLM3: smol, multilingual, long-context reasoner
Hugging Face가 Lower Precision, Flash Attention, 아키텍처 혁신(Alibi, Rotary embeddings, MQA, GQA)을 조합해 LLM 프로덕션 배포 시 VRAM 요구량 및 추론 지연 감소
Optimizing your LLM in production