Go의 Concurrency 기반 Scrapy 스타일 프레임워크 GoScrapy 설계

Context

Python Scrapy의 구조적 이점을 Go 언어로 이식하여 고성능 스크래핑 환경 구축 시도. 기존 Go 기반 라이브러리들의 단순 기능 제공으로 인해 대규모 요청 처리 및 재시도 로직 구현 시 발생하는 Boilerplate 코드 증가 문제 해결 필요.

Technical Solution

• Go 1.22+ 버전의 내장 Concurrency를 활용한 고성능 비동기 요청 처리 구조 설계
• Spider-Engine-Pipeline으로 이어지는 관심사 분리 아키텍처를 통한 데이터 추출 로직의 모듈화
• Middleware 인터페이스 도입을 통한 Retry with Backoff 및 DupeFilter의 플러그인 방식 구현
• Request 객체 체이닝 방식의 DSL을 도입하여 URL, Meta, Header 설정을 직관적으로 처리
• IResponseReader 인터페이스 기반의 CSS Selector 추상화로 다양한 HTML 파싱 전략 지원
• Telemetry Hub 기반의 Observer 패턴을 적용하여 TUI 대시보드에 실시간 지표 전송