Raw Text 추출을 넘어 ML 기반 Structured Data 자동화로 전환하는 IDP 설계

Context

단순 픽셀을 문자로 변환하는 OCR의 Literal한 처리 방식으로 인한 컨텍스트 부재 상황. 다양한 레이아웃과 필기체 입력 시 데이터 구조화 및 유효성 검증이 불가능한 기술적 한계 존재.

Technical Solution

• OCR을 데이터 파이프라인의 First Layer로 배치하여 기본 텍스트 데이터를 확보하는 구조
• Document Classification 레이어를 통한 문서 타입 식별로 추출 필드 스키마를 동적으로 결정하는 로직 적용
• NLP 및 Computer Vision을 결합한 Contextual Extraction으로 텍스트 간 공간적 관계와 의미를 분석하여 Labeled Data 생성
• 추출 데이터의 정밀도 확보를 위해 비즈니스 룰 기반의 Validation 및 Confidence Score를 통한 Human-in-the-loop 검증 체계 구축
• 검증 완료된 정형 데이터를 API 기반으로 downstream 시스템에 push하는 Workflow Integration 설계