피드로 돌아가기
Dev.toAI/ML
원문 읽기
Gemma 4 기반 Local-first KYB 검증 시스템 설계
I Built a Local Gemma 4 Reviewer for Merchant Registry Evidence
AI 요약
Context
공공 비즈니스 레지스트리 및 WHOIS 데이터의 파편화된 정보로 인한 분석 효율 저하 발생. LLM의 환각(Hallucination)으로 인한 잘못된 기업 정당성 판단 위험성과 민감한 가맹점 데이터의 외부 유출 가능성이 주요 제약 사항으로 작용.
Technical Solution
- Ollama를 통한 Local LLM(gemma4:e4b) 배포로 데이터 프라이버시 확보 및 외부 API 의존성 제거
- 모델의 자의적 판단을 배제하고 제공된 JSON 데이터만 처리하도록 강제하는 Conservative Prompting 설계
- WHOIS 등록 정보와 소유권 증명을 분리하여 모델의 과잉 신뢰를 방지하는 Guardrail 로직 적용
- 분석 속도와 품질의 Trade-off를 고려하여 gemma4:e4b(신속 검토)와 gemma4:31b(심층 분석)의 모델 선택 구조 제안
- 정형 데이터(JSON)를 리뷰어 친화적 Markdown 브리프로 변환하는 Synthesis Layer 구현
실천 포인트
- LLM에 '정당성 판단'이 아닌 '증거 기반 요약' 역할 부여를 통한 환각 최소화 - 데이터 민감도가 높은 Compliance 업무 시 Local LLM을 활용한 Private Pipeline 구축 검토 - 모델의 추론 범위(Evidence Boundary)를 명시적으로 제한하여 시스템의 신뢰도 확보 - 정량적 평가를 위해 Exact/Fuzzy/No-match 케이스셋을 구축한 Prompt Evaluation 환경 마련