Claude Can Now Control Your Mac — What Anthropic's Desktop Agent Actually Does

Context

Anthropiс은 2024년 후반부터 스크린샷 기반 컴퓨터 사용 기능을 연구 프리뷰로 제공했으나, 픽셀 기반 클릭 검출 방식으로 인해 신뢰성이 낮았다. OpenClaw의 바이럴 성공으로 인해 더 견고한 데스크톱 에이전트 구현의 필요성이 대두되었다.

Technical Solution

• macOS 네이티브 OS 통합을 통해 스크린샷 기반 픽셀 검출에서 애플리케이션 직접 제어로 전환: Keynote, Calendar 등 네이티브 앱과 직접 상호작용
• Dispatch 기능을 Claude Cowork에 구현하여 크로스 디바이스 지속적 대화 스레드 제공: 스마트폰에서 시작한 작업을 macOS에서 자동 인계
• 권한 게이트 메커니즘 도입으로 Claude가 새로운 앱 접근 전에 사용자 승인 요청: 무단 이메일 발송이나 파일 삭제 방지
• 모델과 클라이언트를 함께 제어함으로써 모델 능력에 맞춘 경험 최적화: OpenClaw 같은 모델 무관 도구보다 깊은 최적화 가능
• 반복 관리 업무, 다중 앱 워크플로우, 회의 준비 등 구체적 사용 사례 정의: PDF 내보내기 및 캘린더 이벤트 첨부 같은 멀티스텝 작업 자동화

Key Takeaway

제어 계층과 실행 계층을 통합하면 일반화된 도구보다 신뢰성 높은 에이전트를 구축할 수 있으나, 사용자의 과도한 신뢰로 인한 감시 부족 오류가 실질적 위험이 될 수 있다.