Vision-Language Model 기반 OCR 엔진 도입으로 텍스트 인식을 넘어 테이블·차트·이미지 등 복잡한 문서 요소를 구조화된 형식으로 추출 가능

Context

기존 OCR 시스템은 인쇄 텍스트의 디지털화에만 특화되었으며, 복잡한 문서 구조(다단 레이아웃, 부동 이미지, 차트)를 올바른 읽기 순서로 처리하기 위해 수작업 후처리가 필요했다. 문서 AI 작업에서는 텍스트 추출만으로는 부족하며, 이미지 캡션 생성, 테이블·차트 변환, 멀티모달 이해가 필수 요구사항으로 대두되었다.

Technical Solution

• Vision-Language Model(VLM)을 기반으로 한 OCR 모델 도입: OlmOCR, PaddleOCR-VL, Docling 등 오픈웨이트 모델 활용으로 비용 효율성과 데이터 프라이버시 확보
• 출력 포맷 다변화: DocTags(레이아웃 보존), HTML(구조 인코딩), Markdown(LLM 입력용), JSON(테이블/차트 변환)을 사용 사례별로 선택
• Grounding/Anchoring 메커니즘 도입: Bounding box 기반 메타데이터로 복잡한 문서 구조에서 읽기 순서 자동 보존 및 할루시네이션 감소
• 프롬프트 기반 작업 전환: 조건부 시스템 프롬프트 또는 사용자 지정 프롬프트(예: "Convert this formula to LaTeX")로 단일 모델의 다목적 활용
• 멀티모달 RAG 및 문서 QA 파이프라인 구축: Visual Document Retriever와 VLM을 결합하여 PDF 스택에서 직접 검색 및 질의응답 수행

Key Takeaway

문서 AI 작업에서는 OCR 성능뿐 아니라 출력 포맷의 선택(디지털 재구성 vs LLM 입력 vs 프로그래밍 사용)과 모델의 레이아웃 인식 능력(Grounding)이 최종 시스템 품질을 결정한다. 오픈웨이트 모델의 활용으로 독점 서비스 의존도를 낮추면서도 복잡한 문서 요소를 처리할 수 있다.