피드로 돌아가기
⭐ I gave Claude Code a real Ubuntu computer (and open-sourced the engine)
Dev.toDev.to
Infrastructure

Set-of-Mark 및 MCP 기반 Ubuntu 샌드박스로 AI 에이전트 제어권 확장

⭐ I gave Claude Code a real Ubuntu computer (and open-sourced the engine)

nghiahsgs2026년 5월 16일5분advanced

AI 요약

Context

기존 Claude Code나 Cursor 등 AI 에이전트가 로컬 파일 편집과 터미널 실행에만 국한되어 UI 검증 및 외부 패키지 설치가 불가능한 제약 발생. 에이전트가 실제 브라우저와 DB 등 런타임 환경에 접근하지 못해 발생하는 수동 복사-붙여넣기 작업의 병목 현상을 해결하고자 함.

Technical Solution

  • MCP(Model Context Protocol) 서버를 통한 40여 개의 도구 핸들러 정의 및 Ubuntu 22.04 샌드박스 환경 제공
  • Set-of-Mark 프롬프팅 기법을 적용하여 픽셀 좌표 기반 추론의 한계를 극복하고 번호 기반 요소 클릭 방식 구현
  • SandboxManager 인터페이스를 설계하여 일반 VPS용 DockerSandbox와 하드웨어 격리가 필요한 FirecrackerSandbox 간 유연한 전환 구조 확보
  • VM별 전용 Docker user-defined network(taw-net-vmId)를 생성하여 네트워크 네임스페이스 수준의 격리로 VM 간 스캔 및 간섭 차단
  • Node.js 기반 HTTP 프록시 계층을 통해 vmId와 containerIP를 매핑하여 nginx 설정 변경 없이 실시간 서브도메인 프리뷰 기능 구현

실천 포인트

- LLM의 공간 추론 능력이 낮을 경우 좌표값 대신 시각적 마커(ID)를 부여하는 Set-of-Mark 방식 검토 - 멀티테넌트 환경에서 보안 강화를 위해 공유 브릿지 네트워크가 아닌 개별 격리 네트워크 네임스페이스 적용 - 환경 종속성을 줄이기 위해 구체적인 구현체(Docker, Firecracker)를 추상화 인터페이스 뒤로 배치

태그

#Set-of-Mark#Sandboxing#MCP#Network Isolation#Firecracker
원문 읽기