피드로 돌아가기
Middleware vs Sidecar: two ways to govern AI agents
Dev.toDev.to
AI/ML

Middleware vs Sidecar, AI 에이전트 거버넌스의 최적 설계 전략

Middleware vs Sidecar: two ways to govern AI agents

Marc Verchiani2026년 4월 6일6advanced

Context

다양한 AI 에이전트 사용 시 개별 권한 모델과 정책의 파편화 발생. 통합된 추적 체계와 공통 정책 적용 수단 부재. 프레임워크마다 서로 다른 거버넌스 방식으로 인한 관리 복잡도 증가.

Technical Solution

  • 프로세스 내부에서 Python 콜백과 데코레이터를 통해 동작하는 Middleware 방식의 Microsoft AGT 구조
  • MCP 및 HTTP 프로토콜 레벨에서 도구 호출을 가로채는 Sidecar Proxy 방식의 agent-mesh 설계
  • YAML 기반의 정책 정의를 통해 특정 도구의 실행 허용, 거부, 인간 승인 여부를 제어하는 정책 엔진 구현
  • AI Gateway(North-South 트래픽 제어)와 Governance Mesh(East-West 도구 호출 제어)를 분리한 계층적 아키텍처 채택
  • OWASP Agentic Top 10 보안 위협 중 ASI02-05, ASI07-08, ASI10 항목을 해결하는 인터셉터 배치
  • 코드 수정 없이 MCP 표준 프로토콜을 통해 다양한 CLI 도구와 프레임워크에 적용 가능한 추상화 계층 구축

Impact

  • Microsoft AGT(Middleware) 적용 시 sub-millisecond 단위의 정책 체크 오버헤드 달성

Key Takeaway

단일 프레임워크 종속성을 탈피하고 이기종 에이전트 환경을 통합 관리하기 위해서는 코드 레벨의 통합보다 프로토콜 레벨의 추상화가 유효한 전략임.


LangChain 등 특정 프레임워크만 사용한다면 Middleware를, Claude Code나 Cursor 등 다양한 MCP 기반 도구를 혼용한다면 Sidecar Proxy 도입을 검토할 것

원문 읽기