Anthropic이 Computer Use, Cowork, Auto Mode, Dispatch를 통합해 iPhone에서 Mac의 자동화 작업을 원격 제어하는 개발자 에이전트 구현

Context

AI 에이전트가 운영체제 수준의 작업을 자동화하려면 마우스, 키보드, 화면을 직접 제어해야 했다. 기존에는 Zapier, n8n, Make, Alfred 같은 여러 도구를 조합해 워크플로우를 구성했으며 각 도구마다 설정, 장애 모드, 가격 정책이 별도로 존재했다. 또한 git push처럼 파괴적 작업에 대해 매번 수동 승인이 필요하거나 모든 권한을 무시하는 방식만 가능했다.

Technical Solution

• Computer Use로 OS 수준 제어 구현: 마우스, 키보드, 화면 인터페이스에 직접 접근해 웹브라우저 열기, 파일 탐색, 터미널 명령 실행 가능하게 구성. API 커넥터가 존재하면 우선 사용하고 없을 때만 화면 클릭으로 대체
• Cowork로 백그라운드 실행 환경 제공: Claude Desktop 내에서 사용자가 자리를 비운 상태에서도 지속적으로 작업 수행. Computer Use와 결합해 수동 작업 범위를 거의 모든 GUI 작업으로 확대
• Auto Mode로 이중 분류 기반 권한 체계 도입: Claude Sonnet 4.6 또는 Opus 4.6를 사용해 명령 실행 전 독립적인 분류 모델이 위험도를 평가. 읽기 작업은 자동 승인하고 원격 쓰기 작업은 차단 또는 명시 확인 요청
• Dispatch로 iPhone-Mac 브릿지 구현: 자연언어 명령을 iPhone에서 전송하면 Mac의 에이전트가 원격으로 작업 수행하는 단일 인터페이스 제공
• 이중 계층 보안 아키텍처 구축: 입력 계층에서 서버측 프롬프트 인젝션 탐지기가 파일, 웹페이지, API 응답, 셸 출력 같은 외부 콘텐츠 스캔. 실행 계층에서 Auto Mode 분류기가 대량 삭제, 데이터 반출, 자격증명 접근, 의도하지 않은 네트워크 요청 같은 위험을 평가

Impact

테스트한 실제 워크플로우에서 gh issue list, git checkout, 파일 수정, git push 전체 과정이 약 4분에 완료되었으며 분류기가 원격 쓰기 단계에서만 1회 개입했다.

Key Takeaway

자동화된 OS 제어 에이전트는 단일 기능보다 여러 계층(원격 제어, 백그라운드 실행, 자동 권한 판단, 안전 검증)의 조합으로 실용성이 결정된다. 보안 아키텍처가 충분하지 않으면 프롬프트 인젝션이나 권한 상승 같은 실제 공격 표면에 노출되므로 독립적인 분류 모델과 입력 검증을 병렬로 구성하는 것이 중요하다.