피드로 돌아가기
Dev.toAI/ML
원문 읽기
Local LLM 기반의 1.2GB RAM 초경량 Invoice OCR 파이프라인 구축
AI Invoice OCR Explained: How Local AI Reads Your PDFs
AI 요약
Context
기존 Cloud OCR 서비스의 데이터 외부 유출 및 API 비용 발생 문제를 해결하기 위한 로컬 추론 환경 필요성 대두. 규칙 기반 Template 방식의 낮은 유연성과 LLM의 Hallucination 위험을 동시에 제어해야 하는 설계적 제약 존재.
Technical Solution
- pdfjs-dist를 통한 Digital PDF의 Unicode 텍스트 직접 추출 및 Scanned PDF의 Bitmap 렌더링 후 OCR 레이어 적용하는 Two-pass 전략 채택
- 4-bit GGUF 양자화를 적용한 Qwen2.5 1.5B 모델을 통해 RAM 사용량을 1.2GB로 최적화하여 저사양 Consumer CPU 환경 지원
- node-llama-cpp 바인딩을 통한 C++ 기반 inference engine 활용으로 AVX2/AVX512 및 GPU 가속 최적화
- Temperature 0.1~0.2 설정 및 JSON Schema 명시 프롬프트를 통한 LLM의 Hallucination 최소화와 구조적 데이터 일관성 확보
- AI 추출 결과에 대한 Human-in-the-loop 검토 화면을 설계하여 LLM의 확률적 오류를 최종적으로 보정하는 데이터 무결성 확보 체계 구축
Impact
- 4-bit GGUF 양자화를 통해 모델 메모리 점유율을 약 1.2GB 수준으로 절감
- 8-core CPU 기준 3~8초, GPU 가속 시 2초 미만의 빠른 응답 속도 달성
Key Takeaway
특정 도메인(Invoice)의 정형 데이터 추출 시 거대 모델보다 도메인 최적화된 소형 모델의 양자화 추론이 비용과 프라이버시 측면에서 더 효율적인 아키텍처임.
실천 포인트
- Local LLM 도입 시 4-bit GGUF 양자화를 통한 하드웨어 요구사항 최적화 검토 - LLM의 비결정적 출력을 제어하기 위해 Low Temperature 설정 및 JSON Schema 강제화 적용 - AI의 추론 결과를 DB에 즉시 반영하지 않고 사용자 리뷰 단계를 거치는 Human-in-the-loop 프로세스 설계