Column-wise Shuffling 기반 데이터 마스킹 툴 구축으로 코드 볼륨 10배 압축

Context

LLM 활용 시 비즈니스 데이터 유출 방지를 위한 엄격한 제약 사항 존재. 단순 텍스트 설명만으로는 LLM이 데이터 구조를 정확히 파악하지 못해 정교한 마스킹 로직 구현에 한계가 있는 상황.

Technical Solution

• Column-wise Independent Shuffling 기법을 적용하여 행 단위 조합을 파괴하고 열 단위 통계 특성만 유지하는 구조 설계
• 각 컬럼별 독립적인 Seed 값을 부여하여 데이터가 원래 순서대로 유지되는 논리적 오류 해결
• Shuffling 결과물에서 일부 샘플을 추출하고 수동으로 익명화하여 LLM 전달용 Safe Sample CSV 생성
• Faker 라이브러리를 활용한 가상 데이터 대체 로직을 통합하여 실제 데이터 흔적을 완전히 제거한 마스킹 툴 구현
• 키워드 기반 대체 로직에서 발생하는 Over-matching 문제를 해결하기 위해 Include/Exclude 2단계 탐지 구조 도입
• 산업 표준 용어 기반의 사전 조사를 통해 복잡한 맞춤형 구현 대신 Pandas 라이브러리 기반의 단순 구현체 채택