CUDA 커널을 실행하면 내부에서 벌어지는 일

Context

단순한 벡터 덧셈 작업이라도 GPU 실행을 위해 복잡한 컴파일 파이프라인과 드라이버 호출 과정이 수반됨. 특히 CPU와 GPU 간의 비동기 명령 전달 체계와 메모리 대역폭 제한으로 인한 성능 병목 현상이 주요 분석 대상으로 설정됨.

Technical Solution

• NVCC를 통한 PTX 가상 ISA 생성 및 ptxas를 이용한 아키텍처별 SASS 기계어 변환 구조 설계
• Host Launch Stub 및 CUDA Runtime을 통해 인자를 Argument Buffer에 정렬하고 Driver API로 전달하는 인터페이스 구현
• Pushbuffer와 GPFIFO 기반의 Command Stream 구축 및 Doorbell MMIO 쓰기를 통한 GPU Host Engine의 즉각적인 작업 인지 체계 운용
• QMD(Queue Meta Data)를 통해 Grid/Block 크기, Register 요구량, Constant Bank 주소 등 실행 메타데이터를 GPU에 일괄 전달
• SM 내 Sub-partition 기반의 Warp Scheduler가 Resident Warp 중 Eligible 상태인 워프를 선택하여 Lane에 명령을 Dispatch하는 스케줄링 전략 적용
• Independent Thread Scheduling 모델을 통한 스레드별 Program Counter 및 Call Stack 유지로 실행 유연성 확보