FP32 대비 모델 크기 4배 감소 및 Edge 최적화를 위한 모델 압축 전략

Context

RAM 및 Flash Storage의 물리적 한계와 GPU 부재로 인한 Edge Device의 연산 제약 발생. Cloud 의존성을 제거한 Low Latency 실현을 위해 모델의 경량화와 에너지 효율 최적화가 필수적인 상황.

Technical Solution

• Quantization을 통한 FP32 정밀도를 INT8 등으로 낮춰 메모리 대역폭 사용량 감소 및 추론 속도 향상
• Structured Pruning으로 불필요한 뉴런 및 채널을 제거하여 하드웨어 가속이 용이한 Dense 모델 구조 설계
• Knowledge Distillation 기반의 Teacher-Student 구조를 통해 대형 모델의 성능을 유지하며 compact한 모델 생성
• Low-Rank Factorization으로 대형 가중치 행렬을 소규모 행렬의 곱으로 분해하여 파라미터 수와 연산량 절감
• Operator Fusion을 적용해 Conv-BatchNorm-ReLU 등의 연산을 단일 커널로 결합함으로써 메모리 액세스 오버헤드 제거
• NAS(Neural Architecture Search)를 활용하여 타겟 하드웨어에 최적화된 효율적 아키텍처 자동 탐색