Compute-bound에서 Memory-bound로의 관점 전환을 통한 AI Scaling 최적화

Context

단순 모델 구조와 학습 알고리즘 중심의 접근 방식에서 발생하는 한계 직면. GPU의 강력한 연산 성능에도 불구하고 데이터 전송 속도가 연산 속도를 따라가지 못하는 Memory Wall 현상으로 인한 하드웨어 유휴 상태 발생.

Technical Solution

• Matrix Multiplication 및 Tensor Operation의 병렬 처리를 극대화하는 GPU 아키텍처 활용
• 데이터 이동 비용이 연산 비용을 상회하는 지점을 파악하여 Data Movement 최적화에 집중
• TVM, MLIR, TensorRT, Triton 등 컴파일러 최적화 도구를 통한 커널 수준의 최적화 수행
• 하드웨어 특성에 맞춘 Runtime 최적화로 GPU 리소스 활용률 제고
• 단순 모델 고도화가 아닌 하드웨어-소프트웨어 통합 관점의 Scalable Intelligence 구조 설계