LLM-driven Chaos QA를 통한 103px Mobile Overflow 버그 탐지

Context

기존 CI 및 Linter 기반의 정적 검사로는 CSS Selector Specificity로 인한 런타임 레이아웃 붕괴를 탐지하는 데 한계가 존재함. 특히 정해진 시나리오만 검증하는 기존 QA 방식은 정의되지 않은 User Path에서 발생하는 엣지 케이스 발견이 불가능한 구조임.

Technical Solution

• LLM-backed Agent를 통한 비결정적 Browser Navigation 구현으로 예측 불가능한 User Persona 시뮬레이션 수행
• LLM은 UI 탐색 및 액션 결정만 담당하고, 실제 버그 판정은 Deterministic Detector라는 별도 코드 레이어에서 검증하는 분리 구조 설계
• Network-layer Guard를 도입하여 non-GET 요청을 강제 차단함으로써 실서비스 환경 내 Mutation 발생을 원천 봉쇄하는 Dry-run 메커니즘 적용
• False-positive 감소를 위해 단순 substring 매칭 방식에서 Page Structure(Title, Heading) 기반의 검증 로직으로 Detector 고도화
• Exploration Frontier 리스트를 Agent에게 피드백하여 동일 경로 루핑을 방지하고 전체 사이트 커버리지를 확장하는 탐색 최적화 구현