11년 된 Residual Connection의 한계, Attention Residual로 돌파
Attention Residuals: How Kimi Is Rethinking Transformer Depth
중국 AI 오픈소스 생태계가 MoE 아키텍처 도입, 멀티모달 확산, 0.5B~30B 소형 모델 선호, Apache 2.0 라이선스 채택, 국내 하드웨어 최적화를 통해 모델 성능 중심에서 시스템 설계 중심으로 전략 전환
Architectural Choices in China's Open-Source AI Ecosystem: Building Beyond DeepSeek
DeepSeek이 R1 모델을 MIT 라이선스로 공개하면서 중국 오픈소스 AI 생태계의 기술·채택·심리적 3가지 장벽을 동시에 제거
One Year Since the “DeepSeek Moment”
HuggingFace가 순수 PyTorch 기반의 nanoVLM 저장소를 공개해 Colab 무료 티어에서 Vision Language Model 학습 가능
nanoVLM: The simplest repository to train your VLM in pure PyTorch
Vision Language Models 커뮤니티가 Any-to-Any 아키텍처, 추론 능력, 256M~2.2B 소형 모델로 진화하며 다중모달 AI의 범위와 효율성 동시 확대
Vision Language Models (Better, faster, stronger)
Hugging Face가 Idefics2라는 8B 파라미터 오픈소스 비전-언어 모델을 출시해 LLaVa-Next-34B, MM1-30B와 경쟁 수준의 성능을 달성
Introducing Idefics2: A Powerful 8B Vision-Language Model for the community