수천만 동시 세션 대응을 위한 Agentic Cloud 아키텍처 설계 및 인프라 혁신

Context

기존의 One-app-serves-many-users 모델은 수천만 개의 독립적인 Agent 세션이 동시 실행되는 환경에서 컴퓨팅 자원 및 상태 관리의 병목 발생. Agent의 자율적 코드 생성 및 실행을 위한 격리된 환경과 보안 제어 체계의 부재로 인한 프로덕션 배포 제약 직면.

Technical Solution

• Millisecond 단위의 Cold Start와 무한 확장이 가능한 Isolate 기반 Serverless Compute 플랫폼 활용을 통한 Agent 실행 환경 최적화
• Git-compatible Artifacts 및 Sandboxes 도입으로 Agent별 독립적인 파일시스템과 Shell을 제공하는 Persistent 격리 환경 구축
• Durable Object Facets를 통한 Agent 생성 앱별 개별 SQLite 데이터베이스 할당으로 Stateful한 코드 실행 구조 설계
• Outbound Workers 기반의 Zero-trust Egress Proxy를 통한 Agent의 외부 통신 제어 및 민감 토큰 노출 방지 아키텍처 구현
• RFC 9728 기반 Managed OAuth 도입을 통한 서비스 계정 의존성 제거 및 사용자 대행 인증 체계 수립
• Control Plane 재설계를 통한 Cloudflare Workflows의 동시성 50,000 및 생성률 제한 300으로 확장

Impact

• Rust 기반 FL2 아키텍처 전환을 통한 글로벌 상위 네트워크 대비 성능 60% 우위 확보
• Cloudflare Workflows의 동시 처리 용량을 50,000 concurrency 수준으로 확장

Key Takeaway

Agentic Workload는 전통적인 App 서버 구조가 아닌, 실행 단위별 독립적인 상태(State)와 격리된 컴퓨팅 환경(Isolate)이 결합된 고밀도 분산 아키텍처를 요구함.