Broadcom 협업 기반 Inference 전용 커스텀 칩 'Jalapeño'를 통한 인프라 최적화

Context

Nvidia GPU 의존도 심화에 따른 비용 상승과 범용 가속기의 효율성 한계 직면. Inference 워크로드의 특수성을 반영하지 못하는 기존 하드웨어 구조로 인한 운영 비용 증가 문제 발생.

Technical Solution

• Broadcom 협업을 통한 Inference 전용 Custom Silicon 'Jalapeño' 설계
• AI 모델 스스로가 칩 설계 과정에 참여하여 워크로드 최적화 가속
• 실시간 Coding 모델 등 특정 워크로드의 저전력/저비용 구동을 위한 전용 아키텍처 채택
• Chip Architecture부터 Kernel, Memory System, Networking까지 전체 Stack의 수직적 통합 설계
• Pre-training은 기존 Nvidia 하드웨어를 유지하되 Inference 단계만 분리하여 비용 효율 극대화
• 모델-인프라 간의 Tight Coupling을 통한 응답 속도 및 신뢰성 향상