585 페이지 1.10초 — OpenDataLoader PDF, 콘텐츠 필터링 최적화로 속도 혁신

Context

기존 PDF 파서는 문서 구조 보존 시 latency 문제가 존재했다. 프로파일링 결과 정렬 알고리즘(XY-Cut++)은 전체 시간의 1% 미만이었다. 실제 병목은 콘텐츠 필터링(55%)과 전처리(25%)에서 발생했다.

Technical Solution

• 콘텐츠 필터링 → 병목 분석 후 최적화 적용
• 페이지 단위 병렬 처리 → 전체 처리 시간 단축
• Hidden text detection → opt-in 옵션으로 전환
• Text-only fast path → 텍스트 전용 파싱 경로 추가
• 출력 데이터 → byte-for-byte 동일성 유지 보장

Impact

latency 벤치마크 1위 달성(585페이지 1.10초 처리). memory 효율성 1위 달성(7.4MB). Java, Python, Node.js SDK 지원. text, markdown, HTML, JSON, PDF 다중 출력 포맷 지원.

Key Takeaway

성능 최적화 시 예상과 다르게 정렬 알고리즘보다 입출력 처리에서 병목이 발생할 수 있다. 보이지 않는 텍스트 처리처럼 기본 활성화된 기능도 opt-in으로 변경하면한 성능 향상을 얻을 수 있다.