Hugging Face가 라이브러리 최적화, 컴파일 기반 그래프 최적화, 하드웨어별 튜닝을 단계적으로 적용해 Transformer 추론 속도 100배 향상

Context

🤗 Transformers 라이브러리로 구축된 대규모 사전학습 모델들은 프로덕션 배포 시 높은 레이턴시로 인해 실시간 소비자 애플리케이션에서 수용 가능한 응답 시간을 보장하기 어려웠다.

Technical Solution

• 🤗 Transformers 라이브러리의 최적화된 파이프라인과 Rust 기반 🤗 Tokenizers 라이브러리를 활용한 토크나이제이션 캐싱으로 기본 배포 대비 10배 속도 향상
• ONNX Runtime을 사용한 정적 그래프 컴파일과 모델 아키텍처별 맞춤 최적화(그래프 최적화, 레이어 퓨징, 양자화)로 추가 10배 속도 향상
• CPU 추론과 GPU 추론을 요청 배치 프로필과 모델 메모리 크기에 따라 선택적으로 배포하여 하드웨어별 최적화 적용
• Intel, NVIDIA, Qualcomm, Amazon, Microsoft와의 파트너십을 통해 최신 하드웨어 최적화 기법 적용

Impact

• 총 100배 추론 속도 향상 달성 (10배 + 10배)
• 월간 정기 릴리스를 통해 API 고객이 자동으로 최신 최적화 기법 적용 가능

Key Takeaway

Transformer 모델의 극단적 성능 향상은 라이브러리 수준의 범용 최적화에서 시작하여 컴파일 기반 그래프 최적화와 모델·하드웨어별 저수준 맞춤 최적화까지 계층적으로 적용해야 달성 가능하며, 단일 최적화 기법으로는 최고 성능에 도달할 수 없다.