3.5GW 규모 Google TPU 도입, Anthropic의 초거대 AI 인프라 전략
Anthropic reveals $30bn run rate and plans to use 3.5GW of new Google AI chips
3.4억 행 데이터 스캔, GPU 가속으로 달성하는 분석 성능 최적화
What do you want to know about hardware acceleration? Ask the Google team!
Habana Gaudi2에서 BridgeTower 비전-언어 모델 파인튜닝 시 데이터 로딩 최적화로 Nvidia A100 대비 2.5배, H100 대비 1.4배 속도 향상
Accelerating Vision-Language Models: BridgeTower on Habana Gaudi2
Hugging Face와 AWS가 Transformer 모델을 AWS Inferentia2에 최적화하여 NVIDIA A10G GPU 대비 4.5배 낮은 레이턴시 달성
Accelerating Hugging Face Transformers with AWS Inferentia2
Habana Labs가 Gaudi2 가속기와 Optimum Habana 라이브러리를 통해 176억 파라미터 BLOOMZ 모델의 추론 지연시간을 Nvidia A100 80GB 대비 1.42배 단축
Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator
Intel과 Hugging Face가 Optimum Intel 라이브러리를 통해 DistilBERT 모델을 양자화해 평가 속도를 1.34배 향상
Intel and Hugging Face Partner to Democratize Machine Learning Hardware Acceleration
Habana Labs와 Hugging Face가 SynapseAI를 Optimum 라이브러리와 통합해 Transformer 모델 학습 비용을 40% 단축
Habana Labs and Hugging Face Partner to Accelerate Transformer Model Training