PII 탐지 자동화로 문서 검토 시간 98% 단축 및 컴플라이언스 리스크 제거

Context

수동 문서 검토 방식에 따른 PII 유출 리스크와 GDPR/HIPAA 등의 규제 위반 가능성 상존. 100페이지 분량의 문서 검토에 인당 2~4시간이 소요되는 운영 효율성 저하 문제 발생.

Technical Solution

• Regex 기반 Pattern Matching을 통한 SSN, 신용카드 등 구조적 데이터의 98% 이상 정밀 탐지
• NER(Named Entity Recognition) 모델 도입을 통한 이름, 조직명 등 비구조적 엔티티의 89~97% Recall 달성
• 주변 텍스트 분석 기반의 Contextual Analysis를 적용하여 모호한 엔티티의 PII 여부 판별 및 오탐지 해결
• OCR-Entity Detection-Classification-Redaction으로 이어지는 파이프라인 구축을 통한 데이터 처리 자동화
• Confidence Score 기반의 Redaction 전략을 수립하여 95% 이상은 자동 삭제, 70~95%는 Human-in-the-loop 검토로 처리
• 단순 마스킹이 아닌 문서 하위 구조에서 데이터를 완전히 제거하는 True Redaction 방식 채택

Impact

• 100페이지 문서 처리 시간 2~4시간에서 3분 미만으로 단축(약 98% 시간 감소)
• 500건의 배치 처리 기간을 수주 단위에서 1시간 미만으로 개선
• PII 탐지 정확도: 구조적 식별자 98%+, 연락처 95%+, 금융 데이터 93%+, 일반 성함 90%+

Key Takeaway

정형 데이터의 정확도와 비정형 데이터의 재현율을 동시에 확보하기 위해 다층적 탐지 레이어(Pattern-NER-Context)를 구성하는 하이브리드 아키텍처 설계가 필수적임.