Async-Broker와 MCP 기반 Cross-Cloud Multi-Agent 시스템 설계

Context

LLM 추론의 가변적 지연시간으로 인한 synchronous HTTP 요청의 Timeout 발생 및 로컬 메모리 의존성에 따른 컨테이너 재생성 시 상태 유실 문제 직면. 또한 클라우드 간 통신 시 NAT 방화벽으로 인한 IP Churn 및 연결 차단이 시스템 안정성을 저해하는 핵심 병목 지점으로 작용.

Technical Solution

• Celery와 Redis 기반의 Asynchronous Task Delegation 도입을 통한 LLM 추론 대기 시간의 비차단 구조 설계
• 외부 데이터 스토어 기반의 Stateless Container 설계로 노드 마이그레이션 시에도 Reasoning Step과 Context Window를 즉시 복구하는 구조 구현
• Model Context Protocol(MCP)을 통한 Reasoning Loop와 Tool Execution 권한의 물리적 분리로 인프라 자격 증명 유출 방지 및 표준 JSON-RPC 스키마 기반의 도구 제어
• Pilot Protocol의 TCP-over-UDP 전송 계층을 활용하여 NAT 방화벽을 우회하는 Peer-to-Peer 네트워크 경로 확보
• OpenTelemetry 기반의 Distributed Tracing 적용으로 서로 다른 클라우드 환경 간의 툴 호출 및 프롬프트 생성 시퀀스 가시성 확보