Rust 기반 고성능 크롤링과 정밀한 콘텐츠 추출의 결합

Context

spider는 고성능 async 웹 크롤링 기능에 집중한 Rust 라이브러리. 콘텐츠 추출 로직이 내장되지 않아 사용자가 직접 구현해야 하는 제약 존재. 단순 텍스트 변환을 넘어 페이지 유형 식별과 품질 측정이 필요한 요구사항 발생.

Technical Solution

• rs-trafilatura의 spider feature flag를 활성화하여 spider의 Page 타입을 직접 처리하는 통합 레이어 구축
• 페이지 URL을 기반으로 ML 분류기를 통해 페이지 유형을 자동으로 식별하는 구조
• subscribe 채널을 활용하여 페이지 수집과 동시에 추출을 수행하는 비동기 스트리밍 파이프라인 설계
• Options 설정을 통해 GFM Markdown 출력, 이미지 메타데이터 추출, 정밀 필터링 등 세밀한 추출 제어 적용
• 추출 결과의 confidence score를 기반으로 저품질 데이터를 필터링하는 Quality-Gated 프로세스 도입
• JSON-LD, Open Graph, Dublin Core 등 구조화된 메타데이터를 통합 추출하여 데이터 정밀도 향상

Impact

• 페이지당 추출 소요 시간 약 44ms 기록
• WCEB 벤치마크 기준 신뢰도 0.80 미만 페이지 비율 약 8% 확인

Key Takeaway

범용 크롤러의 단순 변환 기능보다 도메인 특화된 추출 프로필과 품질 점수 체계를 갖춘 전용 라이브러리를 결합하여 데이터 신뢰성을 확보하는 전략