지능의 본질은 예측, Neural Networks가 Master Algorithm인 이유
The Master Algorithm
Arc Institute가 Virtual Cell Challenge를 통해 CRISPR 유전자 침묵 효과를 예측하는 신경망 모델 개발에 220k개 단일세포 RNA 시퀀싱 데이터셋과 Transformer 기반 STATE 아키텍처 공개
Arc Virtual Cell Challenge: A Primer
Elixir 커뮤니티가 Bumblebee 라이브러리 출시로 GPT2, Stable Diffusion 등의 Hugging Face 모델을 순수 Elixir로 구현
From GPT2 to Stable Diffusion: Hugging Face arrives to the Elixir community
신경망 모델 개발자가 데이터 분석 → 단순 기준선 모델 → 복잡한 모델 순의 3단계 접근법을 따르면 버그와 과도한 튜닝을 방지할 수 있다
Simple considerations for simple people building fancy neural networks
Hugging Face가 pytorch_block_sparse 라이브러리를 개발해 희소 행렬 기반 선형 계층으로 언어 모델을 75% 희소도에서 4배 메모리 감소 및 2배 속도 향상 달성
Block Sparse Matrices for Smaller and Faster Language Models