LLM API 전송 전 PII 자동 토큰화로 데이터 유출 원천 차단

Context

민감 정보(PII)를 포함한 데이터를 외부 LLM API로 전송하는 보안 리스크 존재. 단순 프롬프트 엔지니어링으로는 이미 전송된 데이터의 유출을 막는 데 한계. 데이터 처리 합의서에만 의존하는 방식은 프로덕션 환경에서 부적절한 설계.

Technical Solution

• Regex와 로컬 LLM(Ollama)을 결합한 하이브리드 탐지 전략으로 구조적 PII의 속도와 맥락적 PII의 정밀도 동시 확보
• Ollama llama3.2:3b 모델을 자체 인프라 내에서 구동하여 원본 데이터의 외부 유출 없는 로컬 탐지 구조 설계
• 대량 텍스트 처리 시 800단어 단위 청킹 및 Go 루틴 기반 병렬 처리로 전체 처리 지연 시간 최소화
• AES-256-GCM 암호화 기반 SQLite Vault를 구축하여 토큰-원본 값 간의 안전한 매핑 및 저장 관리
• context_id 기반 스코핑 및 TTL 설정을 통해 GDPR 삭제 권한 대응 및 세션별 데이터 독립성 유지
• Aho-Corasick 오토마톤 알고리즘을 적용하여 다수의 토큰을 단 한 번의 텍스트 스캔으로 복원하는 O(n) 성능의 디토큰화 구현

Impact

• Regex 기반 구조적 PII 탐지 시 sub-millisecond 수준의 지연 시간 달성
• 5,000단어 분량의 문서를 6개 청크로 나누어 처리함으로써 단일 청크 처리 시간과 유사한 수준의 지연 시간 유지

Key Takeaway

데이터 보안과 LLM 활용 사이의 트레이드오프를 해결하기 위해, 데이터의 의미적 맥락은 유지하되 실제 값만 치환하는 토큰화 미들웨어 계층의 필요성을 제시함.