Channels-last 포맷 전환으로 A100 추론 지연 시간 22% 단축

Context

Photoroom의 배경 제거 모델인 U-Net 기반 Encoder-Decoder 구조에서 cuDNN Convolution Kernel이 주요 병목 지점으로 식별됨. 기존 NCHW 메모리 레이아웃 사용 시 NVIDIA Tensor Core 활용 효율이 저하되는 한계 발생.

Technical Solution

• 메모리 레이아웃을 NCHW에서 NHWC(Channels-last)로 변경하여 텐서 코어 최적화 달성
• 데이터 배치 시 채널 값을 메모리 상에 연속적으로 배치하여 Stride 패턴 최적화
• cuDNN 내 불필요한 Transpose Pass 제거를 통한 연산 오버헤드 최소화
• 모델 가중치와 입력 텐서 모두를 동시에 Channels-last로 변환하여 Fallback 방지
• Float16 정밀도 및 torch.autocast 조합을 통한 Tensor Core 가속 극대화
• 512채널 이상의 Deep Encoder Block에서 데이터 정렬 이득을 통한 성능 최적화

Impact

• A100 GPU 기준 이미지당 추론 지연 시간 31ms에서 24ms로 약 22% 감소
• V100 GPU 기준 약 14%의 성능 개선 확인
• 모델 정확도 손실 없이 코드 4줄 수정만으로 성능 최적화 달성