피드로 돌아가기
Dev.toInfrastructure
원문 읽기
11개 플랫폼 Retrofit 파이프라인 구축 및 논문 배포 자동화
Paper 142 — 11-Platform Retrofit, PhilPapers Integration & Predatory Journal Defense (Rei-AIOS)
AI 요약
Context
기존 Paper 33의 일부 플랫폼 배포 상태로 인한 데이터 파편화 발생. 표준화된 11-platform 파이프라인의 부재로 인해 최신 배포 체계를 과거 논문에 소급 적용해야 하는 운영상 제약 존재.
Technical Solution
- Zenodo, IA, Harvard Dataverse를 포함한 11개 플랫폼 대상의 Retrofit Publication 파이프라인 설계
- Chrome-headless 기반의 Markdown-to-PDF 변환 엔진을 통한 다국어(English) 논문 생성 자동화
- Zenodo 504 Gateway Timeout 대응을 위한 API 레벨의 중복 아티팩트 제거 및 Remediation 로직 적용
- Platform First Reach(빠른 확산)와 Semantic Curated Reach(도메인 특화 큐레이션)를 분리한 배포 전략 수립
- 논문 제목 스크래핑 기반의 2세대 스팸 패턴 분석을 통한 8단계 Red-flag 체크리스트 기반 필터링 정책 도입
실천 포인트
- 배포 플랫폼을 '범용 저장소'와 '전문 큐레이션 저장소'로 구분하여 관리할 것 - Headless 브라우저를 활용해 Markdown 문서를 표준 PDF 포맷으로 변환하는 파이프라인을 구축할 것 - 외부 API 연동 시 Timeout 발생에 따른 중복 데이터 생성 가능성을 고려한 멱등성(Idempotency) 처리 로직을 검토할 것