해군 작전 최적화를 위한 AI-First 전문 인력 양성 체계 2N6 구축
War Games, Neural Networks
논리적 구문에서 거대 Matrix Weights 기반의 확률적 구조로의 패러다임 전환
Strange Truths from the Architecture of AI
비선형 활성화 함수와 Attention 기반의 고차원 데이터 피팅 아키텍처 분석
Neural Networks: A Broad Overview
지능의 본질은 예측, Neural Networks가 Master Algorithm인 이유
The Master Algorithm
Arc Institute가 Virtual Cell Challenge를 통해 CRISPR 유전자 침묵 효과를 예측하는 신경망 모델 개발에 220k개 단일세포 RNA 시퀀싱 데이터셋과 Transformer 기반 STATE 아키텍처 공개
Arc Virtual Cell Challenge: A Primer
Elixir 커뮤니티가 Bumblebee 라이브러리 출시로 GPT2, Stable Diffusion 등의 Hugging Face 모델을 순수 Elixir로 구현
From GPT2 to Stable Diffusion: Hugging Face arrives to the Elixir community
신경망 모델 개발자가 데이터 분석 → 단순 기준선 모델 → 복잡한 모델 순의 3단계 접근법을 따르면 버그와 과도한 튜닝을 방지할 수 있다
Simple considerations for simple people building fancy neural networks
Hugging Face가 pytorch_block_sparse 라이브러리를 개발해 희소 행렬 기반 선형 계층으로 언어 모델을 75% 희소도에서 4배 메모리 감소 및 2배 속도 향상 달성
Block Sparse Matrices for Smaller and Faster Language Models