피드로 돌아가기
The RegisterInfrastructure
원문 읽기
AI 모델 기반 설계로 9개월 만에 구현한 추론 전용 ASIC 'Jalapeño'
OpenAI gets chippy with Broadcom
AI 요약
Context
범용 GPU 의존도를 낮추고 LLM 추론 효율을 극대화하기 위한 자체 실리콘 확보 필요성 증대. 하드웨어-소프트웨어 간의 분리로 인한 최적화 한계 및 인프라 비용 상승 문제 해결이 핵심 과제.
Technical Solution
- OpenAI 모델을 설계 및 최적화 공정에 투입하여 ASIC 개발 사이클을 단축한 AI-driven Design 도입
- Broadcom의 실리콘 구현 전문성을 결합한 하드웨어-소프트웨어 Co-development 전략 추진
- LLM 추론에 특화된 전용 ASIC 아키텍처 설계를 통한 Performance per Watt 최적화
- 커널, 메모리 시스템, 네트워킹을 포함한 Full-stack 제어를 통한 하드웨어 가속 효율 극대화
- 모델 특성에 최적화된 스케줄링 및 배포 시스템 통합 설계로 지연 시간 단축
실천 포인트
1. 추론 비용 절감을 위해 범용 하드웨어에서 특정 워크로드 전용 ASIC(Application-Specific Integrated Circuit) 전환 검토
2. 설계 단계에서 하드웨어-소프트웨어 공동 개발(Co-design) 프로세스를 구축하여 최적화 루프 단축
3. 인프라 제어권 확보를 위해 커널 및 메모리 시스템 수준의 Full-stack 최적화 가능 여부 분석