토큰 소모 50배 절감 및 Image Budget 한계 극복을 위한 Exploration-Replay 분리 설계

Playwright MCP burns 1.5M tokens. CLI does it in 27k. So I built the skill that splits the phases.

Creatman2026년 5월 3일8분advanced

AI 요약

Context

Playwright MCP 기반의 AI 테스트는 모든 액션마다 LLM 루프를 통해 스크린샷과 추론을 반복하는 구조적 한계 존재. 이로 인해 단일 테스트당 최대 1.5M 토큰을 소모하며, 문서화되지 않은 inline-image budget 제한으로 인한 빈번한 Context Reset 발생.

Technical Solution

Exploration과 Replay 단계를 분리하여 첫 실행 시에만 MCP로 경로를 탐색하고 이후에는 정적 *.spec.ts 파일을 통한 CLI 실행 구조 채택
ARIA-tree 기반의 browser_snapshot을 활용하여 이미지 대신 텍스트 기반의 DOM 구조로 페이지를 분석함으로써 Image Budget 소모 원천 차단
비전 분석이 필수적인 경우에만 Task Subagent를 격리 운영하여 부모 채팅의 Image Budget을 보호하는 계층적 컨텍스트 설계 적용
Playwright의 toHaveScreenshot() 결과값을 JSON 텍스트로 처리하여 픽셀 차이가 발생한 시점에만 선택적으로 비전 토큰을 사용하는 최적화 기법 도입
모든 소프트 체크 항목을 단일 issues[] 배열로 수집하여 LLM의 분석 횟수를 최소화하는 Collector 패턴 구현

실천 포인트

- LLM 루프 내에서 반복적인 이미지 캡처 대신 ARIA-tree 등 텍스트 기반 스냅샷 활용 검토 - 메인 컨텍스트 오염 방지를 위해 독립적인 Budget을 가진 Subagent에게 고비용 작업 위임 - AI 생성 결과물을 직접 실행하기보다 중간 단계의 코드(Spec)로 저장하여 재사용성 및 비용 최적화 확보

태그

#LLM orchestration #MCP #E2E Testing #Token Optimization #Playwright

원문 읽기