Hugging Face Hub이 Presidio를 활용해 머신러닝 데이터셋의 PII 자동 검출 리포트 기능 도입

Context

Hugging Face Hub에 호스팅된 머신러닝 데이터셋에서 미공개 개인정보(PII)가 대량 포함되어 있는 문제가 발견되었다. 웹 크롤링 기반의 대규모 데이터셋의 경우 완벽한 PII 필터링이 불가능해 민감한 정보가 누출될 수 있으며, 이로 인해 모델이 PII와 특정 결과값을 연결하여 편향된 예측이나 학습 데이터셋의 PII 생성 문제가 발생할 수 있다.

Technical Solution

• Presidio 도입: 오픈소스 PII 검출 도구를 활용한 자동화된 검사 시스템 구축
• 패턴 기반 검출: 정규표현식 기반 탐지 패턴으로 이메일, 전화번호 등의 PII 식별
• 기계학습 모델 기반 검출: 학습된 머신러닝 모델을 통한 고급 PII 패턴 인식
• 리포트 기능: 데이터셋 소유자와 사용자가 검수할 수 있도록 PII 검출 결과를 구조화된 리포트로 제공
• Dataset Hub 통합: 새로운 데이터셋 업로드 시 자동으로 Presidio 리포트 생성

Key Takeaway

ML 데이터셋의 PII 문제는 투명성 있는 자동화 도구로 검출 가능하게 하되, 이후 필터링은 사용자 선택으로 남겨두는 구조가 ML 커뮤니티의 신뢰도를 높이고 개인정보 보호와 모델 개발 간의 균형을 맞출 수 있다.