피드로 돌아가기
Graphcore and Hugging Face Launch New Lineup of IPU-Ready Transformers
Hugging Face BlogHugging Face Blog
AI/ML

Graphcore와 Hugging Face가 Optimum 라이브러리에 10개의 IPU 최적화 Transformer 모델 추가로 NLP·음성·컴퓨터 비전 작업 지원 확대

Graphcore and Hugging Face Launch New Lineup of IPU-Ready Transformers

2022년 5월 26일6intermediate

Context

기존에는 Graphcore IPU에서 실행 가능한 최적화된 Transformer 모델의 종류가 제한적이었으며, 개발자들이 BERT 외에 다양한 모델에 접근하기 어려웠다.

Technical Solution

  • NLP 모델 확대: GPT-2, RoBERTa, DeBERTa, BART, T5 등 5개 모델을 IPU 설정 파일과 사전학습/미세조정 가중치와 함께 제공
  • 컴퓨터 비전 모델 추가: Vision Transformer(ViT)를 이미지 패치 기반 처리 방식으로 IPU에 최적화
  • 음성 처리 모델 지원: HuBERT와 Wav2Vec2를 자체 감독 학습 기반 음성 인식 모델로 구현
  • 멀티모달 모델 통합: LXMERT를 시각-언어 표현 학습을 위해 3개 인코더(객체 관계, 언어, 크로스모달) 구조로 제공
  • Poplar SDK 2.5 업데이트로 PyTorch, PyTorch Lightning, TensorFlow 및 Docker, Kubernetes와 완전 통합
  • IPU 세대 간 코드 변경 없이 이전 세대에서 Bow 프로세서로 원활한 전환 가능

Key Takeaway

하드웨어 제조사와 ML 프레임워크 생태계의 긴밀한 협력을 통해 개발자 진입장벽을 낮추고, 표준 ML 프레임워크와의 완전한 호환성 확보로 모델 포팅 비용을 최소화하는 것이 하드웨어 채택 확대의 핵심 전략이다.


AI 가속기 하드웨어를 도입하려는 조직에서 Hugging Face Optimum처럼 주요 ML 프레임워크(PyTorch, TensorFlow)와 오케스트레이션 도구(Docker, Kubernetes)와의 완전한 통합을 지원하는 SDK를 갖춘 플랫폼을 선택하면, 기존 모델을 최소한의 코드 수정으로 포팅하고 빠르게 운영화할 수 있다.

원문 읽기