Log Math 기반 MAC 설계로 Blackwell 대비 전성비 17배 향상

Tensordyne makes a big bet on log math to beat Nvidia

2026년 6월 19일5분advanced

AI 요약

Context

기존 GPU 아키텍처의 고비용 Multiplication 연산으로 인한 전력 소비 및 발열 병목 발생. 특히 거대 모델의 Matrix Multiplication 부하를 줄이기 위한 연산 효율화 및 전성비 개선이 핵심 과제로 대두됨.

Logarithm 적용을 통해 곱셈 연산을 덧셈 연산으로 변환하여 Computation Intensive한 MAC 유닛의 부하 경감
메모리 오버헤드 유발하는 Lookup Table(LUT) 대신 Mitchell Approximation 기반의 Heuristic 추정 방식 채택
근사치 연산에서 발생하는 오차 해결을 위해 Hardware 수준의 Section-wise Correction 메커니즘을 구현하여 FP16 수준의 정밀도 확보
FP8 및 4-bit Block Floating 데이터 타입을 지원하여 데이터 처리 효율 최적화
72개 가속기를 All-to-all Fabric으로 연결하는 Rack-scale Interconnect 구조 설계로 개별 칩 성능 한계를 확장성으로 극복
공랭식 설계 및 전용 Fabric Switch Blade 도입을 통한 기존 Brownfield 데이터센터 배포 용이성 확보

실천 포인트

1. 연산 비용이 높은 모듈에서 수학적 근사치(Approximation)와 하드웨어 보정(Correction)의 조합으로 성능-정밀도 Trade-off 최적화 검토

2. 고성능 시스템 설계 시 개별 노드의 Peak 성능보다 상호 연결 대역폭(Interconnect Bandwidth)과 전체 랙 밀도를 통한 처리량 최적화 고려

3. 신규 하드웨어 도입 시 전용 컴파일러를 통한 기존 모델의 직접 변환 가능 여부 및 vLLM 같은 표준 런타임 호환성 확인

태그