Cross-Cloud Multi-Agent System을 위한 비동기 이벤트 기반 아키텍처 설계

Context

LLM 추론의 가변적 지연 시간으로 인한 동기식 HTTP 요청의 Timeout 발생 및 Cloud NAT 방화벽에 따른 네트워크 단절 문제 직면. 에페머럴 컨테이너 환경에서 로컬 메모리에 의존한 상태 관리로 인한 작업 데이터 유실 위험 존재.

Technical Solution

• Celery와 Redis 기반의 Asynchronous Task Delegation 도입을 통한 LLM 추론 지연 시간의 Non-blocking 처리
• Redis 외부 저장소로의 State Externalization을 통한 stateless 컨테이너 구조 설계 및 노드 재시작 시 Context 복구 구현
• Model Context Protocol(MCP) 적용을 통해 Agent 추론 루프와 인프라 권한 실행 계층을 분리한 보안 강화
• Pilot Protocol의 TCP-over-UDP 전송 계층을 활용한 NAT 방화벽 우회 및 분산 노드 간 Peer-to-Peer 연결 확보
• OpenTelemetry 기반 Trace Context 주입으로 서로 다른 클라우드 환경 간의 분산 워크플로우 가시성 확보