데이터 이동 병목 해결을 통한 LLM 추론 전용 ASIC 'Jalapeño' 개발

Context

범용 GPU의 유연성으로 인한 불필요한 전력 소모와 실리콘 낭비 발생. LLM 추론 시 연산량보다 메모리에서 가중치를 읽어오는 데이터 이동 단계가 전체 성능을 결정하는 Memory-bandwidth-bound 현상이 핵심 병목으로 작용.

Technical Solution

• 범용 연산 기능을 제거하고 LLM 추론에 최적화된 ASIC 구조 채택
• Reticle-size compute chiplet과 HBM을 물리적으로 밀착 배치하여 데이터 전송 경로 단축
• 연산 유닛의 범용성 대신 메모리와 연산 유닛 간의 전송 효율을 극대화한 하드웨어 설계
• 모델 가중치 스트리밍 효율을 높여 Single-token decode 단계의 대기 시간 최소화
• 설계부터 Tape-out까지 약 9개월의 초단기 사이클을 통한 최적화 반영