피드로 돌아가기
The RegisterInfrastructure
원문 읽기
ML 기반 예측 오프로딩으로 실효 메모리 용량 2~4배 확장
AMD's Mext buy shows how AI could solve the RAM shortage it created
AI 요약
Context
AI 워크로드 증가에 따른 DRAM 부족 현상과 고비용 메모리 확장 제약 발생. Flash storage의 대역폭 향상에도 불구하고 Disk swapping 시 발생하는 높은 Latency penalty가 성능 병목으로 작용.
Technical Solution
- Mextd daemon을 통한 Flash storage의 OS 레벨 일반 메모리 추상화 구현
- LSTM 및 Transformer 아키텍처를 결합한 데이터 액세스 패턴 분석 기반의 예측 모델 적용
- 학습된 Heuristics를 통한 Cold data의 선제적 Flash offload 및 필요 시점 전 복구 처리
- 데이터 특성에 최적화된 복수 모델 체계를 통한 Branch Predictor 방식의 메모리 티어링 최적화
- MoE 모델의 전문가(Expert) 가중치 중 이용 빈도가 낮은 데이터를 HBM에서 System Memory로 이동시키는 계층 구조 설계
실천 포인트
1. 워크로드 내 데이터 액세스 패턴의 주기성과 예측 가능성 분석
2. 고비용 HBM/DRAM과 저비용 Flash 간의 Latency Gap을 상쇄할 예측 알고리즘 검토
3. MoE와 같은 희소 활성화(Sparse Activation) 구조 모델의 가중치 배치 최적화 고려