Webclaw로 웹페이지 토큰 67% 절감, LLM 추출 최적화함

Context

LLM은 복잡한 추론과 대화가 가능하지만 웹페이지 읽기에서 한계를 보임. URL 접근 자체가 불가능하거나 원시 HTML 전달 시 내비게이션, 쿠키 배너, CSS 클래스로 50,000 토큰을 낭비함.

Technical Solution

• Rust 기반 webclaw 엔진: 브라우저급 TLS 핑거프린팅으로 헤드리스 브라우머 없이 HTTP만으로 웹 접근함
• 9단계 최적화 파이프라인: 내비게이션, 푸터, 쿠키 배너 제거 및 데코레이티브 이미지, CSS 아티팩트 정리함
• /v1/extract 엔드포인트: JSON schema 정의로 DOM 위치가 아닌 의미 기반 필드 추출을 지원함
• /v1/diff 엔드포인트: 페이지 스냅샷 비교로 변경 사항만 추적함
• /v1/search + /v1/scrape 체인: 검색 결과를 바로 구조화 콘텐츠로 변환함

Impact

평균 67% 토큰 감소 달성함. 마케팅 페이지 기준 85~90% 토큰 절감 가능함.

Key Takeaway

웹 추출에서 핵심은 DOM 위치가 아닌 의미(semantic) 기반 접근임. 사이트 리디자인과 관계없이 JSON schema로 정의한 필드 추출이 가능하여 파이프라인 유지보수성을 크게 높임.