피드로 돌아가기
GeekNewsInfrastructure
원문 읽기
메모리는 AI 칩 부품 비용의 거의 3분의 2까지 커졌다
AI 메모리 비용 급증에 따른 HBM 전환 및 클라우드 렌더링 가속화
AI 요약
Context
AI 모델의 거대화로 인해 하드웨어 비용 중 메모리 비중이 2/3까지 상승한 상황임. IEEE 부동소수점 방식의 저비트 효율 저하와 DRAM 공급 부족이 시스템 전반의 비용 병목으로 작용함.
Technical Solution
- Posit 등 대체 부동소수점 형식 도입을 통한 16비트/8비트 연산 정밀도 유지 및 메모리 사용량 절감
- HBM(High Bandwidth Memory) 전환을 통한 대역폭 확보 및 연산-메모리 간 성능 격차 해소
- 엣지 컴퓨팅 대신 클라우드 게임 및 렌더링 구조로 전환하여 하드웨어 비용을 다수 사용자에게 상각하는 아키텍처 설계
- CXL(Compute Express Link) 기반의 메모리 확장성 확보를 통한 공급 부족 리스크 대응
- HBM의 웨이퍼 면적 효율 저하를 높은 대역폭 이득으로 상쇄하는 시스템 트레이드오프 적용
실천 포인트
1. 저정밀도 연산 필요 시 IEEE 16-bit 대신 Posit 등 대체 포맷의 정밀도 손실률 검토
2. 메모리 대역폭 병목 발생 시 HBM 전환에 따른 면적 효율 저하와 성능 이득의 Trade-off 분석
3. 로컬 리소스 한계 시 하드웨어 소유 모델에서 클라우드 기반 리소스 분산 상각 모델로의 전환 고려