Intel과 MILA가 ProtST 단백질 언어 모델을 Intel Gaudi 2에 최적화하여 추론 1.76배, 파인튜닝 2.92배 속도 향상 달성

Context

Protein Language Models(PLMs)는 단백질 구조와 기능 예측에 강력한 도구로 부상했으나, 기존 NVIDIA A100 기반 추론과 학습 속도가 새로운 가속기에서의 성능 검증 필요였다.

Technical Solution

• ProtST 모델을 Hugging Face Hub에서 재설계하여 제공: 기존 모델을 재아키텍처링하여 접근성 향상
• Optimum for Intel Gaudi 라이브러리 활용: Transformer 기반 스크립트를 최소한의 코드 변경으로 Gaudi 2로 이식
• bfloat16 정밀도에서 배치 사이즈 1로 추론 실행: 아미노산 수열 길이 79~1999 범위의 2772개 테스트 세트 평가
• 분산 학습 구성으로 파인튜닝 확장: 4개 또는 8개 Gaudi 2 가속기로 거의 선형 스케일링 달성
• 이진 분류 태스크로 파인튜닝 실험: 막결합 단백질 vs 수용성 단백질 분류로 92.5% 정확도 달성

Impact

• 추론 속도: NVIDIA A100 대비 Gaudi 2에서 1.76배 빠름 (동일한 0.44 정확도 유지)
• 파인튜닝 속도: 단일 Gaudi 2가 단일 A100 대비 2.92배 빠름
• 정확도: 논문 발표 결과와 일치하는 약 92.5% 테스트 정확도

Key Takeaway

단백질 분석 같은 과학 분야의 대규모 모델을 새로운 하드웨어 플랫폼으로 이식할 때, 공개 라이브러리(Optimum for Intel Gaudi)를 활용하면 기존 코드 변경을 최소화하면서도 하드웨어 성능 이점을 모두 확보할 수 있다.