Hugging Face와 Google Cloud의 전략적 파트너십으로 CDN Gateway 구축 및 TPU 네이티브 지원을 통해 오픈 모델 다운로드 시간 단축 및 월 수십 페타바이트 트래픽 처리

Context

Hugging Face 사용자가 Google Cloud 플랫폼에서 3년간 10배 증가했으며, 월간 수십 페타바이트의 모델 다운로드와 수십억 개의 요청이 발생하고 있다. 이러한 대규모 트래픽에서 모델과 데이터셋 다운로드 시간을 단축하고 공급망 견고성을 확보해야 하는 과제가 있었다.

Technical Solution

• CDN Gateway 구축: Hugging Face Xet 최적화 스토리지·데이터 전송 기술과 Google Cloud 고급 스토리지·네트워킹 기능을 결합하여 Hugging Face 저장소용 CDN 게이트웨이 개발
• 모델 캐싱 전략: Hugging Face 모델과 데이터셋을 Google Cloud에 직접 캐싱하여 다운로드 시간 단축
• Vertex AI Model Garden 통합: Hugging Face의 인기 오픈 모델을 Model Garden에서 수 클릭으로 배포 가능하게 구성
• GKE AI/ML 통합: Hugging Face 유지보수 사전 구성 환경과 모델 라이브러리를 GKE에서 제공
• Cloud Run GPU 지원: 서버리스 오픈 모델 배포를 위한 Cloud Run GPU 워크로드 실행 환경 제공
• TPU 네이티브 지원: Hugging Face 라이브러리에 TPU(Google 커스텀 AI 가속칩, 7세대) 네이티브 지원 추가
• 모델 보안 강화: VirusTotal, Google Threat Intelligence, Mandiant 기반으로 Hugging Face Hub의 모델·데이터셋·Spaces 보안 기능 구현

Impact

• Hugging Face 사용자의 Google Cloud 플랫폼 사용량 3년간 10배 증가
• 월간 수십 페타바이트 모델 다운로드 규모 달성
• 월간 수십억 개 요청 처리

Key Takeaway

대규모 트래픽을 처리하는 플랫폼 파트너십에서는 CDN을 통한 지역별 캐싱, 네이티브 하드웨어 지원(TPU), 보안 통합을 동시에 구현하면 다운로드 시간 단축과 모공급망 견고성을 확보할 수 있다.