Matrix Multiplication 최적화를 통한 TPU의 대규모 ML 인퍼런스 비용 절감

Context

범용 GPU의 SIMD 구조는 그래픽 렌더링을 위한 불필요한 하드웨어 자원을 포함하여 Matrix Multiplication 효율이 낮음. 특히 대규모 인퍼런스 환경에서 발생하는 과도한 메모리 I/O 병목과 전력 소모로 인한 인프라 확장 비용 증대 문제 발생.

Technical Solution

• Systolic Array 도입을 통한 Memory Round-trip 최소화 및 데이터 흐름 최적화
• Weight를 1회 로드 후 Grid 내에서 연산 결과를 직접 전달하는 데이터 패싱 구조 설계
• Matrix Multiplication 전용 하드웨어 가속을 위해 Texture Mapping 및 Branch Prediction 등 범용 기능 제거
• SparseCores 탑재를 통한 Embedding 기반 추천 시스템의 데이터플로우 가속화
• Inter-Chip Interconnect(ICI)를 활용한 TPU Pod 단위의 수만 개 칩 확장성 확보
• BF16 및 FP8 네이티브 지원을 통한 인퍼런스 처리량(Throughput) 극대화

Key Takeaway

워크로드의 특성이 Static Computation Graph 중심의 대규모 행렬 연산일 경우, 범용성(General-purpose)을 포기하고 특정 연산에 최적화된 ASIC(Application-Specific Integrated Circuit) 구조를 채택하여 전성비와 처리량을 극대화할 수 있음.