Hugging Face와 Habana Labs의 파트너십으로 Habana Gaudi 가속기를 활용해 BERT 모델 파인튜닝을 2분 12초에 완료하고 GPU 기반 인스턴스 대비 40% 더 나은 가격 대비 성능 달성

Context

GPU 기반 Amazon EC2 인스턴스를 사용한 Transformer 모델 학습은 높은 인스턴스 비용(시간당 $13.11)으로 인해 비효율적이다. 기존 방식으로는 단일 가속기 대비 성능 대비 비용 최적화에 한계가 있었다.

Technical Solution

• Habana Gaudi 가속기 도입: 8개의 Habana Gaudi 프로세서가 탑재된 AWS EC2 DL1.24xlarge 인스턴스 활용
• Habana Deep Learning AMI 기반 환경 구성: SynapseAI® SDK와 Docker 컨테이너 지원 사전 설치
• PyTorch 기반 최적화 프레임워크 적용: Optimum Habana 패키지를 통한 BERT 모델 파인튜닝
• Hugging Face Hub에서 사전 구성된 Gaudi 설정 활용: bert-large-uncased-whole-word-masking 모델에 대한 최적화된 하이퍼파라미터 적용
• AWS Spot Instance 가격 모델 결합: 온디맨드 대비 70% 비용 절감

Impact

• BERT-large 모델 MRPC 태스크 파인튜닝 완료 시간: 2분 12초
• 평가 F1 스코어: 0.8968
• 시간당 비용 절감: $13.11에서 $3.93으로 70% 감소 (Spot Instance 적용)
• GPU 대비 가격 대비 성능: 40% 개선
• 학습 처리량: 초당 82.824개 샘플 처리

Key Takeaway

Transformer 모델 학습을 위해 GPU 대신 Habana Gaudi와 같은 전문화된 가속기를 선택하면 가격 대비 성능을 40% 향상시킬 수 있으며, Spot Instance와 조합하면 추가로 70%의 운영 비용을 절감할 수 있다.