Wafer-Scale Engine 도입 통한 Inference 비용 32% 절감 및 처리 속도 21배 향상

Context

TSMC CoWoS 패키징 캡파 부족으로 인한 하드웨어 공급망 병목 현상 심화. Training 최적화 구조인 GPU를 Inference에 전용함에 따라 발생하는 불필요한 Inter-chip Communication 오버헤드 및 레이턴시 증가 문제 발생.

Technical Solution

• Wafer-Scale Integration 설계를 통한 단일 다이(Die) 내 전체 연산 유닛 통합
• Inter-chip Communication 제거를 통한 데이터 이동 경로 최적화 및 네트워크 패브릭 오버헤드 제거
• 4조 개의 Transistor와 90만 개의 Core 배치를 통한 대규모 병렬 처리 구조 확보
• 21 PB/s 수준의 초고대역폭 메모리 인터페이스 구축을 통한 Memory Wall 문제 해결
• Inference 전용 아키텍처 설계를 통한 토큰 생성 단계의 Sequential 처리 효율 극대화

Impact

• Llama 3 70B 추론 워크로드 기준 NVIDIA B200 대비 21배 빠른 속도 달성
• Llama 4 Maverick(400B) 모델에서 사용자당 2,500 tokens/sec 처리 성능 기록
• B200 대비 추론 토큰당 비용 32% 감소
• OpenAI의 750MW~2GW 규모 인프라 도입을 통한 실효성 검증

Key Takeaway

워크로드의 성격(Throughput 중심의 Training vs Latency 중심의 Inference)에 따라 하드웨어 아키텍처를 분리 설계하는 전략적 접근 필요. 특정 벤더 종속성을 탈피하여 워크로드 특성에 최적화된 Purpose-built Silicon을 선택하는 Provider-agnostic 설계 지향.