브라우저 에이전트의 인지 한계 극복을 위한 Structured Runtime Perception 설계

Context

기존 Browser Agent는 Screenshot, Accessibility Tree, Raw DOM에 의존하며 UI 상태의 비대칭성 문제에 직면함. 단순 View 데이터만으로는 버튼의 활성화 여부나 로딩 상태 등 실시간 런타임 상태를 정확히 파악하지 못해 모델의 판단 오류가 빈번히 발생함.

Technical Solution

• HTML 마크업과 실제 렌더링 상태 간의 간극을 메우는 Structured Runtime Perception 계층 도입
• SiFR(Structured Interface Representation)을 통한 최적화된 상태 표현으로 모델의 추론 효율성 증대
• 실제 사용자 세션 내에서 작동하는 브라우저 확장 프로그램 및 MCP tools 기반의 실시간 상태 추출 구조 설계
• 단순 픽셀 분석이 아닌 '현재 실행 가능한 요소'와 '변경 사항' 중심의 상태 스냅샷 생성 로직 적용
• 인증 및 권한이 유지되는 Live Session 연동을 통해 API가 없는 레거시 시스템 및 SaaS 대시보드 접근성 확보