피드로 돌아가기
Cloudflare BlogInfrastructure
원문 읽기
R&D 93% 도입, 47.9M 요청을 처리하는 Agentic AI 스택 구축
The AI engineering stack we built internally — on the platform we ship
AI 요약
Context
수천 개의 저장소와 대규모 엔지니어링 조직 내에서 AI 에이전트를 실무에 통합하기 위한 표준화된 인프라 부재. 단순 LLM API 호출을 넘어 인증, 라우팅, 샌드박스 실행 및 상태 관리가 통합된 엔지니어링 스택 필요성 대두.
Technical Solution
- Cloudflare Access 기반의 Zero Trust 인증 체계를 최상단에 배치하여 보안 제어권 확보
- AI Gateway를 통한 중앙 집중형 LLM 라우팅 및 BYOK, 데이터 보존 정책의 단일 지점 관리
- Workers AI를 활용해 추론 서버를 애플리케이션 네트워크 내에 배치함으로써 Cross-cloud hop 제거 및 지연 시간 단축
- Durable Objects 기반의 Agents SDK를 도입하여 대규모 저장소 클론 및 테스트 수행이 가능한 Long-running 세션 상태 유지
- Sandbox SDK를 통한 에이전트 생성 코드의 격리 실행 환경 구축으로 시스템 안정성 확보
- MCP(Model Context Protocol) 서버 표준을 적용하여 지식 그래프(Backstage)와 도구 간의 상호운용성 극대화
실천 포인트
- LLM API 호출 전단에 Gateway 레이어를 두어 비용 추적 및 모델 스위칭 구조를 설계했는가 - 에이전트의 작업 연속성을 위해 Stateful한 세션 관리 메커니즘(예: Durable Objects)을 검토했는가 - 생성된 코드의 안전한 실행을 위해 호스트 환경과 분리된 Sandbox 런타임을 확보했는가 - 모델과 도구 간의 연결을 위한 표준 인터페이스(MCP 등)를 채택하여 벤더 종속성을 최소화했는가