HBM 제거 및 M3D 기반 330GB 온다이 DRAM으로 80B 모델 7.2만 tok/s 달성
Sophon PFG-1: a monolithic-3D AI ASIC with 330 GB of on-die DRAM and no HBM
O(n²) Attention 병목 해결을 위한 연산 최적화 및 Memory IO 혁신
Why Attention Becomes the Bottleneck — And How Efficient Attention Fixes It
Speculative Decoding 도입으로 p50 TTFT 380ms에서 140ms로 단축
Speculative decoding: when and why it actually speeds up inference
에이전트 시대를 위한 두 개의 칩: Google의 8세대 TPU
전력 효율 2배 향상 및 학습·추론 전용 칩 분리로 구현한 수직 통합 AI 인프라