엔지니어가 MediaPipe와 Claude API를 활용해 비디오 프레임에서 안면 특징을 추출하고 정서 상태를 분류한 후 주의 전환형 상호작용을 제공하는 AI 펫 테라피 시스템 구축

Context

심리 웰니스 앱들은 사용자에게 기분을 자가 보고하도록 요청한 후 그래프 표시와 명상 제안을 반복하는 동일한 패턴을 따르고 있으며, 이는 장기적 효과가 부족하다. 펫 보조 치료는 미세한 움직임, 냄새, 심박 변이도, 호흡 리듬을 통해 감지하고 행동하는 방식으로 이 문제를 우회한다.

Technical Solution

• MediaPipe의 FaceMesh와 Pose 솔루션으로 비디오 프레임에서 안면 특징점과 신체 자세 감지: 눈 종횡비(eye aspect ratio), 눈썹 간격, 입 모서리 각도 추출
• Anthropic Claude 3.5 Sonnet API에 추출된 안면 특징 수치(눈 개방도, 눈썹 긴장도, 입술 모서리 각도)를 프롬프트로 전달해 정서 상태 분류 및 상호작용 제안 생성
• 정서 상태별 상호작용 매트릭스 구성: 불안(anxious)→주의 전환형 반응 3종, 저에너지(low_energy)→신체 활동 유도 2종, 스트레스(stressed)→호흡 운동 및 재프레이밍 2종
• 아키텍처 설계: 사용자 상태 감지 → 정서 라우팅 → 응답 선택(조언 제공 아님) → 주의 전환 → 2~5분 이내 마이크로 참여 루프
• 프로덕션 환경에서는 개인정보 보호 처리, 동의 흐름, 온디바이스 처리 필수 구현 필요

Impact

아티클에서 정량적 성능 수치나 실험 결과 수치는 명시되지 않음.

Key Takeaway

정서 AI에서 복잡한 ML 파이프라인보다는 일관되고 판단하지 않는 존재감이 정교한 개입보다 효과적이라는 점이 중요하며, AI 동반자는 치료사가 아니라 개처럼 행동해야 한다는 설계 원칙이 핵심이다.