Rust 기반 CUDA 커널 제어와 LLM GPU 스케줄링 최적화

Context

C++ 중심의 CUDA 개발 환경으로 인한 메모리 안전성 확보의 어려움과 복잡한 ML 컴파일러 스택으로 인한 최적화 블랙박스 현상 존재. 대규모 LLM 연산 시 VRAM 효율성과 처리량 극대화를 위한 저수준 제어 필요성 증대.

Technical Solution

• Rust-to-PTX 컴파일러(cuda-oxide) 도입을 통한 GPU 커널의 메모리 안전성 및 타입 시스템 강화
• PTX 중간 표현층을 활용하여 Rust의 현대적 언어 특성과 GPU 하드웨어 직접 제어 성능을 동시 확보
• LLM 전용 커스텀 컴파일러 설계를 통한 연산의 GPU 스케줄링 하향(Lowering) 공정 최적화
• 메모리 레이아웃 최적화 및 Kernel Fusion을 통한 데이터 이동 최소화 및 계산 처리량 극대화
• 동기화 지점 정밀 제어와 데이터 이동 경로 최적화를 통한 추론 및 학습 레이턴시 감소