피드로 돌아가기
The RegisterAI/ML
원문 읽기
DocLang 도입을 통한 LLM 토큰 비용 최대 30배 절감 및 추론 정확도 향상
A modest proposal: Reformat everything to make documents more palatable to AI
AI 요약
Context
PDF, HTML, LaTeX 등 기존 문서 포맷이 렌더링 중심으로 설계되어 AI 모델의 Tokenization 과정에서 시맨틱 정보와 구조적 맥락이 손실되는 한계 발생. 이에 따라 통합 파서 부재로 인한 개별 커스텀 파서 구축 비용 증가 및 모델의 추론 정확도 저하 문제가 심화됨.
Technical Solution
- LLM Tokenizer와의 1:1 매핑을 지원하는 Markup 설계를 통한 Token 효율성 극대화
- 제한된 XML Vocabulary 채택으로 AI 모델의 Prompt 최적화 및 결정론적(Deterministic) 기반 마련
- 레이아웃, 의미, 거버넌스 정보를 보존하는 Lossless 구조 설계를 통한 정보 손실 방지
- 표, 수식, 차트 등 Multimodal 콘텐츠를 지원하는 표준화된 데이터 교환 포맷 정의
- Docling 툴킷을 활용한 비정형 문서의 구조화 데이터 변환 및 표준 DocLang 포맷으로의 전이
- 문서 출처 및 Metadata를 결합한 설계를 통한 데이터 거버넌스 유지 및 추적성 확보
실천 포인트
- LLM 파이프라인 설계 시 입력 데이터의 Token Consumption 비율을 측정하여 비효율적 포맷 식별 - PDF 등 비구조화 문서 처리 시 단순 OCR 대신 구조적 정보를 보존하는 AI-friendly 포맷 도입 검토 - Custom Parser의 파편화를 방지하기 위해 전사적 표준 문서 스키마 정의 및 적용