피드로 돌아가기
We let ChatGPT and Claude see your screen
Dev.toDev.to
Infrastructure

Python-PyQt6 기반 CLI Subprocess 제어로 AI 화면 캡처 오버레이 구현

We let ChatGPT and Claude see your screen

Crade2026년 6월 18일3intermediate

Context

스크린샷 캡처와 LLM 입력 사이의 반복적인 Workflow로 인한 생산성 저하 발생. 기존 브라우저 기반 인터페이스의 탭 전환 및 파일 업로드 과정이 심각한 사용자 경험 병목 지점으로 작용함.

Technical Solution

  • Electron 대신 Python과 PyQt6를 채택하여 NSWindow 직접 제어 및 설치 파일 크기 50MB 수준으로 최적화
  • CLI-as-subprocess 패턴을 통해 OpenAI 및 Anthropic CLI를 직접 호출하여 BYO(Bring Your Own) 인증 및 데이터 경로 최적화
  • macOS kCGAssistiveTechHighWindowLevel(1500) 적용 및 500ms 주기적 재검증으로 최상위 윈도우 권한 강제 유지
  • Cloudflare Worker 프록시 계층을 구축하여 자체 Tier 사용자를 위한 HTTP 게이트웨이 제공
  • macOS rlimit 설정을 통한 File Descriptor 제한(256개) 확장으로 Anthropic CLI의 정상 동작 보장
  • CLI 바이너리 번들링 및 자동 Notarization 프로세스 구축으로 사용자 온보딩 단계의 마찰 제거

- OS 레벨의 윈도우 우선순위 제어가 필요할 경우 Native Binding 지원 프레임워크 검토 - 외부 CLI 도구를 래핑할 때 OS별 File Descriptor 및 권한 상속 제한 사항 사전 검증 - BYO 모델 설계 시 데이터 평면(Data Plane)에서 서버를 거치지 않는 Direct Path 구성으로 보안 및 지연시간 최적화

원문 읽기