피드로 돌아가기
GeekNewsAI/ML
원문 읽기
Claude, 컴퓨터의 마우스·키보드·화면 직접 제어 기능 출시
Anthropic의 Claude가 마우스·키보드·화면 제어 기능을 추가해 GUI 애플리케이션 자동화 실행
AI 요약
Context
레거시 애플리케이션과 네이티브 앱들은 API 기반 자동화가 불가능하거나 제한적이어서 수동 조작이 필수였다.
Technical Solution
- Claude Code Desktop 및 Cowork과의 통합: 실제 컴퓨터의 마우스·키보드·화면을 직접 제어 가능한 인터페이스 제공
- Dispatch와 함께 사용: 원격으로 Claude가 컴퓨터를 자동 조작하도록 지시 가능한 구조 구현
- macOS 우선 출시 후 Windows 지원: 초기 단계 안정성 고려해 플랫폼별 순차 출시
- 신중한 동작 설계: Computer use 초기 단계 특성상 Claude의 동작 속도를 인간보다 느리고 신중하게 설정
- 실제 GUI 작업 자동화 범위: 레거시 앱 자동화 및 네이티브 앱 디버깅 등 화면 기반 작업 자동화에 활용
실천 포인트
GUI 기반 레거시 시스템을 운영하는 엔지니어링 팀에서 Claude의 컴퓨터 제어 기능을 도입하면 Dispatch를 통한 원격 자동화로 반복적인 GUI 조작 작업을 자동화할 수 있다.