Hugging Face와 Amazon이 SageMaker용 추론 DLC를 출시해 Transformer 모델을 한 줄의 코드로 배포 가능하게 구현

Context

Hugging Face 모델을 Amazon SageMaker에 배포할 때 복잡한 사전 및 사후 처리 코드 작성이 필요했고, 모델 선택부터 배포까지의 과정이 기술적 진입장벽이 높았다.

Technical Solution

• Hugging Face Inference DLC 제공: transformers 라이브러리의 파이프라인을 활용한 최적화된 깊은 학습 컨테이너 제공
• 제로 코드 배포: 사전/사후 처리 코드 없이 HuggingFaceModel(...).deploy() 한 줄로 모델 배포 가능
• Model Hub 통합: 10,000개 이상의 공개 모델을 SageMaker에서 직접 배포 가능하도록 지원
• Bring Your Own Code 지원: 기본 메서드를 오버라이드하여 커스텀 추론 코드 작성 가능
• 표준화된 API: transformers 파이프라인과 동일한 인터페이스로 입력(inputs), 파라미터(parameters) 키 기반의 요청 구조 제공

Key Takeaway

SageMaker와 같은 관리형 플랫폼에서 오픈소스 라이브러리의 파이프라인 추상화를 통해 제로 코드 배포를 구현하면, 프로덕션 배포의 기술 진입장벽을 크게 낮추면서도 고급 사용자를 위한 커스터마이징 옵션을 동시에 제공할 수 있다.