3천만 건의 Open-Access 논문을 활용한 고밀도 학술 데이터 파이프라인 구축

Context

분산된 학술 저널의 파편화된 데이터 소스와 PDF 기반의 비정형 포맷으로 인한 텍스트 추출의 높은 비용 발생. 자체 스크래퍼 구축 시 플랫폼의 빈번한 구조 변경으로 인한 유지보수 오버헤드와 저작권 준수 여부의 불확실성 존재.

Technical Solution

• ScholarAPI 기반의 중앙 집중형 데이터 수집 계층을 도입하여 데이터 파편화 문제 해결
• PDF-to-Text 변환 과정의 정제 로직을 API 내부로 추상화하여 정형화된 JSON 스키마 확보
• /texts/{ids} 벌크 엔드포인트를 통한 최대 100건의 배치 처리로 네트워크 왕복 시간(RTT) 최소화
• /list 엔드포인트를 활용한 날짜 기반 페이지네이션으로 신규 논문의 지속적 동기화를 지원하는 Streaming Pipeline 설계
• Hugging Face Hub와의 직접 연동을 통해 수집-정제-배포로 이어지는 데이터 라이프사이클 자동화