PLE 도입으로 2B 모델의 추론 성능을 7B 수준으로 끌어올린 Gemma 4 E2B
How Gemma 4's Per-Layer Embeddings Actually Work — And Why E2B Punches Above 2B
UniPool 기반 파라미터 66.7% 절감 및 MASCing 통한 방어율 83.9% 달성
Shared expert pool reduces parameters while maintaining performance
데이터 큐레이션 및 상태 관리로 5B 모델의 NPC 성능을 20B급으로 구현
Pattern Is All You Need: Why NPC Depth Beats Model Size
RAM 512MB~2GB 수준의 언어 특화 SLM 기반 오프라인 코딩 에이전트 설계
Why not Lannguage Specific SLMs as coding agents
Mixture of Experts(MoE)란 무엇인가 — DeepSeek이 왜 1.6조 파라미터인데 싸게 돌아가는지
활성 파라미터 3% 제어로 구현한 1.6조 규모 MoE의 비용 혁신
DeepSeek v4 출시
1.6T 파라미터 규모의 DeepSeek-V4-Pro 및 Flash 모델 출시
Vision Language Models 커뮤니티가 Any-to-Any 아키텍처, 추론 능력, 256M~2.2B 소형 모델로 진화하며 다중모달 AI의 범위와 효율성 동시 확대
Vision Language Models (Better, faster, stronger)
HuggingFace가 Vision Language Model을 256M 파라미터로 축소하면서 세계 최소 VLM 달성 및 비전 인코더·토크나이제이션·데이터 믹스 재설계
SmolVLM Grows Smaller – Introducing the 256M & 500M Models!