GUI 자동화를 위한 Visual AI Agent 구축 전략과 평가 체계

Context

인간과 유사한 GUI 탐색 능력을 갖춘 AI Agent 구축의 필요성 대두. GUI 상호작용 데이터의 표준화된 관리와 정밀한 모델 평가 체계 부족.

Technical Solution

• COCO4GUI 표준 포맷 기반의 GUI 상호작용 데이터셋 구조화 및 어노테이션 전략
• FiftyOne 툴킷을 활용한 데이터셋 시각화 및 액션 분포 분석 기반의 데이터 큐레이션
• 스크린샷과 UI 요소 패치의 Multimodal Embeddings 추출을 통한 유사도 검색 및 리트리벌 구현
• Microsoft GUI-Actor 모델을 활용한 자연어 지시어 기반의 상호작용 지점 예측 추론
• 정규화된 클릭 거리(Normalized Click Distance) 기반의 로컬라이제이션 정밀도 측정
• Attention Map과 에러 패턴 분석을 통한 모델 실패 원인 진단 및 데이터 기반의 파인튜닝 우선순위 설정

Key Takeaway

단순한 모델 추론을 넘어 데이터 큐레이션, 정밀 평가, 실패 분석으로 이어지는 Closed-loop 파이프라인 구축이 Visual Agent의 성능 결정 요소.