Hugging Face Hub가 emissions_threshold 파라미터와 codecarbon 통합으로 ML 모델의 CO2 배출량 추적 및 검색 기능 제공

Context

ML 모델 학습 및 배포 과정에서 GPU, 스토리지 등 컴퓨팅 인프라의 에너지 사용으로 인한 CO2 배출이 발생한다. 기존에는 모델의 탄소 발자국(carbon footprint)을 추적하거나 저배출 모델을 찾을 수 있는 표준화된 방법이 없었다.

Technical Solution

• huggingface_hub 라이브러리에 emissions_threshold 파라미터 추가: 최소/최대 그램 단위로 CO2 배출량 범위를 지정하여 모델 검색
• HfApi.list_models() 메서드에 emissions_threshold 옵션 적용: cardData=True와 함께 사용하여 모델의 co2_eq_emissions 메타데이터 조회
• transformers 라이브러리에 codecarbon 통합: Trainer 객체가 자동으로 CodeCarbonCallback 추가하여 학습 중 탄소 배출량 기록
• emissions.csv 파일 자동 생성: 각 학습 실행마다 탄소 배출 데이터를 codecarbon 디렉토리에 저장
• 모델 카드 메타데이터 표준화: co2_eq_emissions 필드를 모델 카드 상단에 포함하여 공개

Impact

• 최대 100그램 CO2 이하로 학습된 모델: 191개 발견 가능
• 500그램 이상 CO2 배출 모델: 10개 검색 가능 (최대값 4009.5그램)

Key Takeaway

ML 커뮤니티의 투명성 향상을 위해 표준화된 도구로 탄소 배출량을 자동 계산하고 검색 가능하게 만들면, 엔지니어들이 환경을 고려한 모델 선택 및 개발 결정을 즉각적으로 내릴 수 있다.