HTML의 Markdown 전환을 통한 Token 사용량 93.2% 절감

I was burning context feeding HTML to LLMs, so I built a Markdown converter for agents

Konstantin Konstantinov2026년 6월 25일3분intermediate

AI 요약

Context

LLM 기반 AI Agent 및 RAG 파이프라인에서 Raw HTML 데이터 주입으로 인한 Token 낭비와 비용 증가 문제 발생. Puppeteer와 같은 Headless Browser 기반의 기존 스크래퍼는 과도한 의존성과 리소스 오버헤드로 인해 경량화된 런타임 환경 적용에 한계 존재.

Technical Solution

HTTP Content Negotiation 기반의 Accept: text/markdown 헤더 분석을 통한 동적 콘텐츠 제공 구조 설계
단일 HTML Parser만 사용하는 Zero-dependency 설계를 통한 Node, Bun, Deno 및 Edge Runtime 호환성 확보
기존 라우팅 수정 없이 미들웨어 계층에서 인터셉트하여 HTML을 Markdown으로 변환하는 투명한 처리 프로세스 구축
TypeScript 및 Python 동시 지원으로 AI 생태계의 주요 언어 환경에 대한 범용적 적용 가능성 제공
DOM 조작 대신 정적 변환 로직을 적용하여 메모리 사용량 최소화 및 처리 속도 최적화

실천 포인트

1. LLM 입력 데이터에서 불필요한 HTML Boilerplate 제거 여부 확인

2. Headless Browser 대신 가벼운 Parser 기반의 변환 라이브러리 검토

3. API 엔드포인트 분리 대신 HTTP Accept 헤더를 활용한 콘텐츠 최적화 적용 고려

4. RAG 파이프라인의 Token 비용 분석을 통한 데이터 전처리 단계의 정량적 효율 측정

태그

#Markdown #Edge Computing #RAG #Token Optimization #Content Negotiation

원문 읽기