로컬 PII Masking 레이어로 데이터 외부 유출 0% 및 검출 정확도 최대 100% 달성

Context

LLM API 사용 시 발생하는 PII(개인식별정보) 유출 위험과 외부 익명화 서비스 이용에 따른 데이터 프라이버시 경계 붕괴 문제 발생. 정규표현식 기반의 단순 필터링은 유지보수 비용이 높고 탐지율이 낮아 기업 수준의 보안 요구사항 충족에 한계 노출.

Technical Solution

• Presidio 및 spaCy 기반의 Local Detection 시스템을 구축하여 네트워크 호출 없는 내부 프로세스 내 탐지 구조 설계
• 탐지된 엔티티를 결정론적 토큰(Deterministic Token)으로 치환하여 LLM의 문맥 추론 능력을 유지하는 Reversible Masking 적용
• In-memory 및 Redis 기반의 Token Vault를 구현하여 서버 외부 유출 없이 응답 데이터의 원본 값 복원 로직 구축
• OpenAI SDK 등을 래핑한 Proxy 패턴 적용으로 기존 코드 변경을 최소화하고 일관된 인터페이스 제공
• 체크섬 검증 및 커스텀 패턴 인식기를 통해 국가별 특수 식별자(Aadhaar, PAN 등)의 탐지 정밀도 향상

Impact

• Email, SSN, IBAN, Credit Card 등 주요 엔티티에 대해 100% 탐지 정확도 달성
• IP 주소 99.8%, 인명 96.4%의 높은 탐지율을 통한 데이터 유출 리스크 최소화

Key Takeaway

보안 경계(Privacy Boundary)를 외부 서비스가 아닌 애플리케이션 로컬 레이어에 배치함으로써 보안성과 기능성을 동시에 확보하는 설계 원칙 확인