ESP32-S3 기반 AI Agent 상태 가시화 Local-first 물리 디스플레이 설계

Context

AI Agent의 동작 과정이 백그라운드에서 처리되어 개발자가 현재 상태를 파악하기 어려운 불투명성 발생. 터미널 로그나 클라우드 대시보드 확인 과정에서 발생하는 인지 부하와 컨텍스트 스위칭 비용을 해결할 물리적 인터페이스 필요.

Technical Solution

• Agent의 내부 상태(Planning, Tool Running, Streaming 등)를 표준화된 JSON Payload로 변환하는 Normalized State Protocol 설계
• Python Host Daemon을 통해 AI Runtime 로그를 수집하고 물리 디바이스로 전송하는 Middleware 계층 구축
• Wi-Fi POST 및 BLE 통신 방식을 통한 저전력/저지연 Local Transport 계층 구현
• ESP32-S3 및 AMOLED 디스플레이를 활용하여 Agent Heartbeat를 실시간 렌더링하는 Firmware 구조 설계
• Local GGUF 및 llamafile 등 다양한 Provider 상태를 통합 수용하는 Adapter 패턴 적용