범용 GPU 한계를 넘는 TPU의 도메인 특화 ASIC 아키텍처 분석

Context

딥러닝 워크로드의 폭발적 증가로 인한 데이터 센터 컴퓨팅 용량의 기하급수적 수요 발생. 범용 하드웨어 스케일링의 한계와 전력 효율 저하 문제를 해결하기 위한 전용 가속기 필요성 대두.

Technical Solution

• Dense Matrix Operation 최적화를 위한 TPU ASIC 설계로 전성비 및 처리량 극대화
• Torus Topology 기반의 칩 간 연결 구조 설계를 통한 노드 경계 제거 및 확장성 확보
• Proprietary ICI(Inter-Chip Interconnect) 네트워크 도입으로 고대역폭 저지연 통신 구현
• Optical Circuit Switch(OCS)를 통한 소프트웨어 정의 물리 연결 제어로 워크로드 유연성 제공
• bfloat16 포맷 채택을 통해 FP32의 수치 범위 유지와 FP16의 메모리 효율성을 동시에 달성
• 2D/3D Torus 구조 차별화를 통해 Inference와 Training 워크로드별 최적 레이아웃 적용