Reverse Engineering과 VLM 결합을 통한 로봇 청소기 자율 제어 시스템 구축

I cracked a robot vacuum's API in a week and gave Claude the keys

Federico Sciuca2026년 4월 30일10분advanced

AI 요약

Context

제조사 공식 앱의 제한적인 API 노출로 인해 기기의 상세 상태 확인 및 정밀 제어 불가. Aliyun IoT Cloud 기반의 폐쇄적 프로토콜과 기기 바인딩 세션 제약으로 인한 외부 제어의 한계 존재.

mitmproxy 및 blutter를 활용한 Cloud Request Signing 알고리즘 분석 및 MD5 서명 함수 추출
Frida-hooking을 통한 APK 런타임 내 AES 복호화 함수 및 Agora WebRTC 인증 정보 획득
MQTT Broker의 ACL 제약을 우회하기 위해 uiautomator2를 이용한 Phone-as-body 형태의 UI 자동화 제어 레이어 설계
SLAM Occupancy Grid 및 Lidar 데이터를 Protobuf로 디코딩하여 VLM(Claude Haiku)에 정밀 상태 정보 제공
기능별 LLM Tiering(Haiku/Sonnet)을 적용한 Cost-aware Routing 시스템 구축으로 운영 비용 최적화
외부 파일 기반의 Memory Directory 구조를 설계하여 세션 간 컨텍스트 유지 및 지속적 자율성 확보

실천 포인트

1. IoT 기기 분석 시 API가 막혀있다면 Official App의 UI 자동화를 통한 제어 우회 경로 검토

2. VLM 도입 시 비용 최적화를 위해 단순 결정 루프(Haiku)와 심층 분석(Sonnet)의 티어 분리 적용

3. LLM 에이전트 설계 시 세션 간 지식 전이를 위해 정형화된 Memory Directory 및 Autonomy Contract 정의

4. AI 제어 시스템 구축 시 Raw Sensor 데이터보다 가공된 State 정보를 우선 공급

태그