피드로 돌아가기
Dev.toAI/ML
원문 읽기
MCP Gateway 도입을 통한 에이전트 Tool 호출 제어 및 비용 최적화
Putting my own MCP server behind my own MCP gateway
AI 요약
Context
에이전트가 MCP Server의 고비용 Tool을 무한 루프로 호출할 때 발생하는 비용 통제 불능 상태가 핵심 문제임. 프로토타이핑 단계와 달리 Production 환경에서는 스케줄 기반 동작으로 인해 실시간 모니터링과 즉각적인 개입이 불가능한 구조적 한계가 존재함.
Technical Solution
- Client와 MCP Server 사이에 Cordon Gateway를 배치한 Proxy 아키텍처 설계
- HTTP Transport를 통한 Client 연결과 stdio Transport를 통한 Upstream Server 연결의 하이브리드 구성
- Tool별 호출 비용에 따른 'Allow' 및 'Approve' 정책 엔진(Policy Engine) 구현
- 모든 Tool Call의 입출력 시점 및 실행 시간(durationMs)을 기록하는 Audit Log 시스템 구축
- 특정 고비용 Tool 호출 시 터미널 또는 Slack을 통한 Human-in-the-loop 승인 프로세스 강제
- Bearer Token 기반의 인증 계층 추가를 통한 Gateway 보안 강화
실천 포인트
1. 에이전트 Tool 중 API 비용 발생 항목을 식별하고 비용별 등급 분류
2. 무조건적인 허용 대신 고비용 Tool에 대해 Human-in-the-loop 승인 절차 검토
3. Tool 호출의 Round-trip Latency 및 빈도를 측정하기 위한 Audit Log 체계 마련
4. Client와 Server 사이의 추상화 계층(Gateway)을 통한 정책 변경 유연성 확보