Gemma 4:e4b 기반 Local Privacy Firewall로 PII 유출 원천 차단

Context

클라우드 LLM 사용 시 발생하는 민감 데이터 유출 위험과 PDPA/GDPR 등 법적 규제 준수 필요성 증대. 기존 Regex 방식으로는 문맥 기반의 PII(Personally Identifiable Information) 식별에 한계가 존재함.

Technical Solution

• Chrome Extension과 Local FastAPI 서버를 결합한 Local-first 아키텍처 설계
• Regex를 통한 정형 패턴(Email, Phone 등)의 1차 필터링 후 LLM을 통한 2차 문맥 분석 수행
• Inference 비용과 추론 속도 최적화를 위해 Mixture-of-Experts(MoE) 구조의 Gemma 4:e4b 모델 채택
• 16GB RAM 환경에서 Ollama를 통해 온디바이스 추론을 구현하여 데이터 외부 유출 가능성 제거
• 정형 데이터 패턴 매칭과 비정형 문맥 이해를 결합한 Two-stage Pipeline 구축

Impact

• 16GB RAM 사양의 미드레인지 하드웨어에서 프롬프트당 2~5s의 지연 시간 발생
• 2B/4B 모델의 과도한 정보 삭제 및 27B 모델의 느린 추론 속도 문제를 MoE 모델로 해결

Key Takeaway

데이터 프라이버시 요구사항이 높은 도메인에서는 Cloud API 대신 Local LLM을 활용한 전처리 계층(Privacy Firewall) 배치가 필수적이며, 모델 선정 시 추론 속도와 문맥 이해도의 Trade-off를 고려한 MoE 아키텍처가 효율적인 대안이 됨.