개발자가 MediaPipe 기반 카메라 AI로 웹 브라우징 중 집중도를 실시간 측정하는 Gaze Browser를 구현했다

Context

사용자들은 스마트폰 사용 중 알림과 링크 클릭으로 인해 원래 검색 목적을 자주 잊어버린다. AI 시대에 정보량과 병렬 작업이 급증하면서 집중력 유지가 더욱 어려워졌다.

Technical Solution

• MediaPipe FaceLandmarker로 전면 카메라를 통해 실시간 478개 얼굴 랜드마크 점 검출
• 시선 방향, 깜빡임 빈도, 머리 자세, 안면 근육 긴장을 분석하여 인지과학 원리로 집중도 점수 산출
• Swift(iOS)와 Kotlin(Android)으로 온디바이스 AI 처리 구현하여 웹 기반 ML 오버헤드 제거
• Flutter로 크로스플랫폼 UI 개발 및 플랫폼 채널로 AI 모듈과 느슨하게 결합
• 초기 캘리브레이션 단계에서 사용자별 집중 기준 자세 학습

Impact

실시간 웹 브라우징 중 0~100 집중도 점수를 플로팅 위젯으로 표시하고 60fps 렌더링 유지

Key Takeaway

콘텐츠 차단이 아닌 행동 리플렉션 방식으로 Gently 리마인더하여 자기인식을 유도한다