Deterministic Rule과 Gemma 4 결합으로 개인정보 보호 및 처리 효율 극대화

Context

개인정보 민감도가 높은 배송 정보 추출을 위해 클라우드 기반 AI 대신 Local-first 아키텍처 필요성 증대. 단순 LLM 의존 시 발생하는 높은 추론 비용, 느린 응답 속도 및 템플릿 기반 이메일의 중복 처리 비효율성 존재.

Technical Solution

• HTML 정제 및 Tracking Number 추출을 위한 Deterministic Rule 기반의 1차 필터링 계층 설계
• 규칙 기반 처리 불가 사례(비정형 다국어 통지서 등)를 Gemma 4로 전달하는 Hybrid Pipeline 구축
• 모델의 결정 근거, Confidence Level, Token 사용량을 기록하는 Observable Decision Trail 구현을 통한 디버깅 효율화
• M2 MacBook Pro 환경에서 LM Studio Headless 모드를 활용한 local-first 추론 환경 구성
• 정형 데이터 추출과 비정형 문맥 추론을 분리하여 LLM의 역할 범위를 Shipment Classifier 및 Auditing Layer로 제한

Impact

• 전체 대상 이메일 중 55%를 규칙 기반으로 처리하여 추론 비용 및 지연 시간 절감
• 규칙 기반 처리 시 약 60% 수준인 정확도를 Gemma 4의 보정 과정을 통해 90% 이상으로 상향
• 38%의 오답 사례를 모델이 직접 교정함으로써 시스템 신뢰도 확보