Show GN: VLM이 유저 시선을 얼마나 예측할 수 있는지 실제 아이트래킹 데이터로 비교

Context

UI 설계 단계에서 사용자 시선 흐름을 예측하기 위한 정밀한 분석 도구 필요성 증대. 기존 방식의 한계를 극복하기 위해 VLM의 시각적 추론 능력을 활용한 시선 예측 가능성 탐색.

Technical Solution

• UEyes 데이터셋을 활용한 VLM의 시선 예측 정확도 정밀 비교 분석
• 실제 Eye-tracking 데이터와 VLM 예측 결과 사이의 상관관계 검증 로직 설계
• UI 요소의 시각적 특징과 사용자 주목도 간의 관계를 분석하는 VLM 프롬프트 최적화
• 예측 결과의 신뢰성 확보를 위한 정량적 비교 평가 파이프라인 구축
• uigaze 오픈소스 라이브러리를 통한 시선 예측 모델의 구현 및 배포

Key Takeaway

VLM이 UI의 시각적 계층 구조를 이해하여 사용자의 시선 집중 지점을 예측할 수 있다는 기술적 가능성 확인.