WASM 기반 MediaPipe 활용 브라우저 내 실시간 30+ FPS 포즈 교정 시스템 구축

Context

고가의 Motion-capture 장비 의존성을 제거하고 일반 웹캠만으로 물리치료 피드백을 제공하려는 시도. 브라우저 환경의 성능 제약으로 인한 실시간 분석 지연 및 데이터 처리 효율성 확보가 핵심 과제.

Technical Solution

• WebAssembly(WASM) 런타임 적용을 통한 브라우저 내 ML 모델의 Near-native 속도 구현
• MediaPipe Pose 엔진을 활용하여 신체 33개 3D Landmark를 정밀하게 검출하는 파이프라인 설계
• atan2 기반의 삼각함수 로직을 구현하여 Hip, Knee, Ankle 간의 관절 각도를 정량적으로 산출
• Speech Synthesis API를 연동하여 각도 임계값에 따른 실시간 음성 피드백 루프 구축
• React UI 레이어와 MediaPipe 엔진을 분리하여 렌더링 부하를 최소화한 아키텍처 구성