RAG Web Browser가 웹 페이지를 클린 마크다운으로 변환하여 AI의 환각問題を 제거한다

Context

LLM은 특정 시점의 인터넷 데이터로 학습되어 이후 정보에 접근할 수 없다. 사용자가 최신 제품 정보나 뉴스에 대해 질문하면 AI가 잘못된 답변을 생성하거나 모른다고 답하는 문제가 발생한다. 또한 웹 페이지에는 내비게이션, 쿠키 배너, 광고 등이 포함되어 있어 컨텍스트 창에 입력 시 토큰 낭비가 발생한다.

Technical Solution

• Headless Browser → JavaScript 렌더링 후 웹 페이지 전체 로드
• Parse 단계 → 내비게이션, 사이드바, 쿠키 동의, 광고, 댓글 섹션 등을 제거하고 본문 내용만 추출
• Convert 단계 → HTML을 마크다운으로 변환하여 헤더, 리스트, 테이블, 링크 구조를 보존
• Return 단계 → 구조화된 JSON 응답으로 클린 마크다운 출력
• Fetch 단계 → React, Vue, Angular 등 Client-side Framework로 렌더링된 페이지도 정상 처리

Impact

1,000건 요청당 $3 비용으로 실시간 웹 접근 기능 제공

Key Takeaway

AI의 웹 검색 정확도는 사용자가 Retrieve하는 컨텐츠 품질에 따라 완전히 달라진다. 노이즈가 제거된 클린 텍스트만 LLM 컨텍스트에 전달해야 비용 효율과 출력 품질을 동시에 확보할 수 있다.