Arm이 Neural Super Sampling 모델을 출시해 모바일 게임에서 GPU 워크로드 50% 감소 및 540p→1080p 업스케일링을 4ms에 달성

Context

모바일 디바이스에서 고해상도 그래픽 렌더링은 GPU 연산 비용이 높아 전력 제약이 심한 환경에서 성능 저하를 초래한다. 실시간 게임 및 XR 애플리케이션은 저전력으로 고품질 프레임을 생성해야 하는 모순적 요구사항을 갖고 있다.

Technical Solution

• Neural Super Sampling 모델 도입: 저해상도 렌더링 프레임을 입력받아 고해상도 출력으로 재구성하는 머신러닝 기반 업스케일링 기법 적용
• Neural Accelerators (NX) 최적화: 모바일 GPU 내 전용 신경망 가속기에서 NSS 모델 실행하도록 설계
• 시간적 정보 활용: 단일 프레임이 아닌 연속 프레임의 모션, 깊이 데이터를 입력으로 사용해 재구성 품질 향상
• Unreal Engine 통합: NSS Plugin for Unreal Engine 및 Unreal NNE Plugin for Vulkan을 통해 개발자가 즉시 적용 가능하도록 구현
• Neural Graphics Dataset 제공: 참조 이미지, 이미지 시퀀스, 모션·깊이 데이터를 포함한 학습용 데이터셋 공개

Impact

• GPU 워크로드 50% 감소 (Enchanted Castle 데모)
• 540p 렌더링 후 1080p 업스케일링 완료 시간 4ms (지속 성능 설정)

Key Takeaway

모바일 GPU의 전용 가속기를 활용한 머신러닝 기반 후처리 기법으로 렌더링 비용을 절반 이상 줄이면서도 프레임 지연을 4ms 이내로 유지할 수 있다. 이는 전력 제약이 있는 모바일 환경에서 시각 품질과 성능 간의 균형을 재구성 알고리즘으로 해결하는 설계 방식을 보여준다.