Hugging Face가 외부 보안 감사를 통해 safetensors 라이브러리의 안전성을 검증하여 transformers의 기본 포맷으로 채택

Context

PyTorch는 내부적으로 pickle을 사용하는데, pickle은 악의적인 파일이 사용자의 컴퓨터에 대한 완전한 제어권을 공격자에게 부여할 수 있는 고질적인 보안 취약점을 가지고 있다. Hugging Face Hub와 같이 누구나 모델을 업로드할 수 있는 플랫폼에서 사용자들이 악성 모델 파일로부터 감염될 위험이 존재한다.

Technical Solution

• Rust로 작성된 safetensors 라이브러리 개발: 언어 수준에서 추가적인 보안 계층 제공
• PyTorch, TensorFlow, JAX, PaddlePaddle, NumPy를 포함한 주요 프레임워크 지원: 단일 파일 포맷으로 모든 프레임워크 호환성 제공
• Trail of Bits에 의한 독립적 외부 보안 감사 수행: polyglot 파일 생성 취약점 발견 및 수정, 테스트 스위트 개선 구현
• 지연 로딩(lazy loading) 기능 구현: 전체 텐서가 아닌 일부만 효율적으로 로드 가능하도록 지원
• transformers 라이브러리에 단계적 통합: 핵심 의존성으로 추가, 향후 기본 저장 포맷으로 전환 예정

Impact

• 모델 로딩 속도: CPU 기준 약 100배 향상
• 보안 감사 결과: 임의 코드 실행으로 이어지는 치명적 보안 결함 발견 안 됨

Key Takeaway

보안이 핵심 가치인 라이브러리는 외부 감사를 통한 신뢰성 검증과 함께 공개 보고서 발행으로 커뮤니티 신뢰를 구축해야 한다. 보안 문제가 광범위한 생태계에 미치는 영향이 클수록 산업 협력(EleutherAI, Stability AI)을 통한 검증과 점진적 마이그레이션 전략이 중요하다.