Simplified DOM 기반 Few-Shot Prompting으로 Token 70% 절감 및 추출 안정성 확보

Context

이커머스 사이트의 잦은 HTML 구조 변경으로 인한 기존 CSS Selector 및 Regex 기반 스크래퍼의 유지보수 한계 발생. 단순 LLM 도입 시 발생하는 Token 비용 증가와 Hallucination으로 인한 데이터 부정확성 문제 직면.

Technical Solution

• 불필요한 Tag(script, style, nav, footer 등) 제거를 통한 Simplified DOM Tree 구조 설계
• HTML을 JSON Tree 형태로 변환하여 데이터 구조 유지 및 Token 사용량 70% 감소 유도
• 도메인 특화 3~5개의 Few-Shot Example을 System Prompt에 배치하여 추출 정밀도 향상
• Temperature 0 설정을 통한 Deterministic Extraction 구현으로 결과 일관성 확보
• 긴 페이지 처리를 위한 HTML Chunking 전략 및 후처리 Validation 로직 도입
• LLM 비용 효율화를 위해 정적 API 우선 검토 후 Semantic Extraction 적용 결정