Running Agents on Kubernetes with Agent Sandbox

Context

Generative AI는 50ms 단발성 함수 호출에서 수주 단위로 실행되는 다중 에이전트 시스템으로 진화했다. 기존 Kubernetes 프리미티브(StatefulSet + Service + PersistentVolumeClaim)로 장시간 유휴 상태의 상태 보존 싱글톤 워크로드를 관리하려면 스케일에서 운영 복잡도가 급증한다.

Technical Solution

• Sandbox CRD 도입: 싱글톤 상태 유지 워크로드 전용 선언형 API 제공으로 StatefulSet 조합 없이 단일 추상화 계층 제공
• 강력한 격리: gVisor, Kata Containers 같은 런타임을 통해 AI 에이전트가 생성하는 신뢰 불가능한 코드 실행 시 커널과 네트워크 격리 보장
• 생명주기 관리: 유휴 상태 에이전트를 0으로 스케일링하면서 동시에 정확한 이전 상태에서 재개(resumption) 지원
• 안정적 네트워크 정체성: 모든 Sandbox에 고정 호스트명과 네트워크 정체성 할당으로 다중 에이전트 간 discovery와 통신 가능
• SandboxWarmPool 확장: 사전 프로비저닝된 Sandbox 풀 유지로 1초 콜드 스타트 오버헤드 제거, SandboxTemplate에 대한 SandboxClaim 발급 시 즉시 사전 가열된 격리 환경 제공

Key Takeaway

Kubernetes를 AI 에이전트 같은 상태 유지 싱글톤 워크로드까지 확장하려면 도메인 특화 CRD와 확장 API 레이어를 통해 기존 프리미티브의 추상화 간극을 메워야 한다.