피드로 돌아가기
Dev.toAI/ML
원문 읽기
3단계 계층형 OCR 파이프라인 구축으로 정확도 최대 96% 달성
OCR Intelligente per Documenti Aziendali: Architettura e Lezioni dal Campo
AI 요약
Context
법률 및 금융 문서의 특성상 필기체, 노후 문서, 복잡한 레이아웃이 혼재되어 단일 OCR 엔진으로는 대응 불가능한 한계 존재. 특히 높은 추출 정확도가 요구되는 도메인 특성상 단순 텍스트 변환 이상의 구조적 데이터 정제 필요성 대두.
Technical Solution
- 문서 유형별 처리 비용과 정확도를 최적화하기 위한 3-Tier Routing 아키텍처 설계
- Level 1: 현대적 인쇄 문서 대상 Tesseract 5.x 기반 처리 및 OpenCV를 활용한 Deskewing, Denoising 전처리 적용
- Level 2: 필기체 및 훼손 문서 대응을 위해 컨텍스트 이해도가 높은 Vision-capable LLM인 Mistral Pixtral 도입
- Level 3: 품질 검증 실패 시 최종 Fallback 수단으로 Gemini Vision을 배치하여 처리 불가 문서 제로화 구현
- OCR 결과물에서 직접 구조화 데이터를 뽑는 대신 'OCR → Raw Text → LLM Structured Extraction'의 2단계 파이프라인으로 신뢰도 향상
- API 비용 및 Latency 제어를 위해 Priority Queue 기반의 동시성 제한(Max 3 Jobs) 메커니즘 적용
실천 포인트
- OCR 도입 전 문서 유형 분류기(Classifier)를 우선 구축하여 불필요한 API 비용 지출 방지 - Vision LLM 활용 시 숫자 오인식(1/7, 0/6 등) 가능성을 명시한 Few-shot Prompting 적용 - Raw Text 추출과 Structured Data 변환 단계를 분리하여 디버깅 가능성과 정확도 제고 - API Rate Limit 방지를 위해 동시 실행 수(Concurrency) 제어 로직 구현