Python 의존성 제거 및 GGUF 포팅을 통한 Parakeet ASR의 C++ 단일 바이너리화

Context

NVIDIA Parakeet 모델 운용을 위해 NeMo, PyTorch 등 무거운 Python 스택과 GPU 리소스가 필수적이었던 구조. 추론 시점의 높은 런타임 의존성과 복잡한 배포 환경이 시스템 확장성의 병목으로 작용함.

Technical Solution

• ggml 텐서 라이브러리 기반의 C++17 추론 포트를 통한 Python 및 ONNX 런타임 완전 제거
• RNNT/TDT 디코더를 Static-graph 텐서 라이브러리에 매핑하여 연산 효율 최적화
• GGUF 포맷 도입을 통해 모델 가중치와 설정을 단일 파일로 통합하여 배포 단순화
• F32xF16 matmul 경로 최적화로 현대적 CPU 환경에서의 연산 속도 향상
• CUDA, HIP, Vulkan, Metal 등 다양한 백엔드 지원으로 하드웨어 가속 추상화 계층 구축
• Linear weights 대상의 선택적 Quantization 적용을 통한 메모리 사용량 최적화

Impact

• F16 정밀도 적용 시 F32 대비 추론 속도 약 1.7배 향상 및 모델 크기 57% 감소
• GPU 활용 시 대형 TDT/Hybrid 모델 기준 최대 4.3배의 성능 가속 달성
• Q4_K 양자화 적용 시 F32 대비 메모리 점유율을 약 26% 수준으로 절감

Key Takeaway

Heavy한 ML 프레임워크 의존성을 제거하고 추론 전용 C++ 런타임으로 포팅함으로써 배포 복잡도를 획기적으로 낮추고 엣지 컴퓨팅 환경의 실행 가능성을 확보함.