수식 보존 PDF 파싱, Marker와 Modal 기반의 서버리스 API 구현

Context

기존 PDF 파서들은 수식 데이터를 일반 텍스트로 처리하여 데이터 손실 발생. 임베딩 모델의 토큰 품질 저하로 RAG 답변 정확도 하락. GPU 서버 직접 운영 시 모델 가중치 관리 및 비용 효율성 확보의 어려움 직면.

Technical Solution

• 수식 보존 성능이 검증된 오픈소스 Marker를 핵심 엔진으로 채택하여 LaTeX 형식의 정밀한 추출 구현
• Modal의 Persistent Volume을 활용해 5GB 모델 가중치를 캐싱함으로써 콜드 스타트 시간을 5분에서 10초로 단축
• 60~180초 소요되는 긴 처리 시간을 해결하기 위해 FastAPI와 Modal의 spawn-and-poll 비동기 아키텍처 설계
• scaledown_window=300 설정을 통해 요청 종료 5분 후 컨테이너를 자동 종료하는 Scale-to-zero 전략으로 유휴 비용 제거
• RapidAPI 연동을 통한 단일 엔드포인트 제공으로 복잡한 인프라 설정 없는 API 기반 인터페이스 구축

Impact

• 수식 추출 벤치마크에서 Docling(5/12) 대비 Marker(10.5/12)의 높은 정확도 확보
• 모델 볼륨 마운트로 콜드 스타트 시간 약 96% 감소 (300초 -> 10초)
• CPU 추론 대비 GPU(T4) 사용으로 처리 속도 약 10배 향상

Key Takeaway

무거운 ML 모델의 서빙 비용과 운영 복잡성을 해결하기 위해 볼륨 캐싱과 Scale-to-zero 전략을 결합한 서버리스 아키텍처의 효율성 확인.