Even the chip makers are making LLMs

Context

GPU 제조사가 단순히 하드웨어만 제공하면 실제 워크로드 특성을 반영한 아키텍처 개선이 제한된다. NVIDIA는 CUDA 초기부터 개발자와 협력하여 실제 애플리케이션 워크로드를 이해하고 가속화해왔지만, LLM 시대에 모델 훈련 및 추론 프로세스의 복잡성을 정확히 파악하기 위해 직접 모델을 개발할 필요가 있었다.

Technical Solution

• 소프트웨어-하드웨어 공동 설계: 모델 개발팀과 하드웨어 아키텍처팀 간 피드백 루프 구축하여 훈련, 네트워킹, 스토리지 등 전 영역의 최적화 수행
• Blackwell 아키텍처에 NVFP4 정밀도(precision) 도입: 가중치와 활성화(activations)를 특정 부동소수점 형식으로 훈련 및 실행 가능하도록 구현
• Nemotron 오픈소스 모델군 개발 및 공개: 공개 가중치, 훈련 데이터, 레시피를 포함하여 특화된 AI 에이전트 구축용 모델 제공
• 개발자 관계(Developer Relations) 팀 배치: 애플리케이션 워크로드를 깊이 있게 이해하는 전문가를 통해 가속화 전략 수립
• 모델 훈련에서 추론 규모화까지 전체 사이클 최적화: 단순 계산 성능이 아닌 실제 배포 환경의 성능 피드백 반영

Key Takeaway

칩 제조사가 자사 하드웨어의 실제 사용 패턴을 이해하고 아키텍처를 반복 개선하려면, 단순히 개발자 피드백을 수집하는 것을 넘어 실제 워크로드(LLM 훈련, 추론)를 직접 구현하고 운영해야 한다는 점을 보여준다. 이 접근 방식은 하드웨어 최적화 데이터의 신뢰성과 속도를 극대화한다.