피드로 돌아가기
Dev.toAI/ML
원문 읽기
Llama 3.2 3B 튜닝을 통한 외부 API 없는 온디바이스 계약 리스크 분석 시스템 구현
I built a 3B lease risk scanner that runs without an external LLM API
AI 요약
Context
계약서 내 민감 정보 보호를 위해 외부 LLM API 호출을 배제한 로컬 실행 환경 필요성 증대. 일반적인 LLM의 과잉 추출(Over-extraction) 문제로 인한 신뢰성 저하와 긴 문서 처리 시의 컨텍스트 윈도우 제약 발생.
Technical Solution
- CUAD 데이터셋 기반 Llama 3.2 3B 모델 Fine-tuning을 통한 법률 조항 추출 최적화
- 모델 생성 값의 신뢰성 확보를 위해 원문과 동일한 텍스트만 허용하는 Deterministic Guards 적용
- 80k 캐릭터 제한 및 Overlapping Window 기법을 통한 장문 계약서 분할 처리 구조 설계
- 키워드 기반 라우팅을 통한 불필요한 추론 제거 및 Batched Generation 호출로 처리 효율 증대
- GGUF 포맷 배포를 통한 llama.cpp 및 Ollama 기반의 Local Runtime 환경 제공
- 증거 우선(Evidence-first) UI 설계를 통해 모델 추론 결과와 원문 하이라이트를 대조하는 검증 루프 구축
실천 포인트
1. LLM의 환각을 방지하기 위해 생성 결과물을 원문 텍스트와 Verbatim으로 대조하는 검증 로직을 추가하십시오.
2. 장문 텍스트 처리 시 단순 분할보다 키워드 기반 라우팅과 Overlapping Window를 조합하여 컨텍스트 손실을 최소화하십시오.
3. 모델의 역할을 '판단자'가 아닌 '추출기'로 한정하고 최종 판단은 사용자가 내리도록 UI/UX를 설계하십시오.