Rust 기반 추출로 Scrapy 파이프라인 성능 극대화

Context

웹 스크래핑 시 HTML에서 의미 있는 본문 내용을 구조화하여 추출하는 과정에 많은 비용 소모. 기존 Python 기반 추출 라이브러리의 느린 처리 속도와 복잡한 설정 문제 존재.

Technical Solution

• Scrapy의 Item Pipeline에 rs-trafilatura를 통합하여 HTML 분석과 구조화 추출 자동화
• PyO3를 통해 Rust로 컴파일된 엔진을 사용하여 Python 프로세스 내에서 고속 텍스트 추출 수행
• GitHub Flavored Markdown 출력 옵션을 통해 웹 콘텐츠의 구조적 서식을 유지하는 변환 전략
• extraction_quality 지표를 활용해 낮은 신뢰도의 데이터를 필터링하는 품질 관리 레이어 구축
• page_type 분류 정보를 기반으로 상품, 포럼, 기사 등 콘텐츠 성격에 따라 저장소를 분기하는 라우팅 설계
• body(bytes) 또는 html(string) 필드 존재 여부를 자동 감지하여 처리하는 유연한 데이터 흐름 구현

Impact

• Rust 컴파일 엔진 적용으로 페이지당 추출 시간 약 44ms 달성

Key Takeaway

CPU 집약적인 텍스트 분석 작업을 Rust와 같은 저수준 언어로 구현하고 Python 인터페이스로 연결하여 네트워크 I/O 중심의 프레임워크 성능 병목을 효과적으로 해결.