피드로 돌아가기
Dev.toAI/ML
원문 읽기
Token limit 410k 초과 문제를 Code Mode 도입으로 해결한 MCP 서버 설계
How to Save Bloated MCP with Code Mode
AI 요약
Context
복잡한 Database Schema를 MCP 서버에 통합할 때 Zod 및 JSON Schema의 거대한 크기로 인한 Token limit 초과 문제 발생. 특히 ZenStack 기반의 세밀한 Access Control 적용 시 Schema 크기가 130k limit를 훨씬 상회하는 410k에 달해 LLM의 Context Window를 초과하는 병목 지점 확인.
Technical Solution
- 모든 Tool 정의를 개별적으로 노출하는 방식에서 탈피하여 단 3개의 핵심 Tool만 제공하는 Code Mode 구조 설계
- Schema Tool을 통해 전체 zmodel 구조와 쿼리 API 규칙만 전달하여 LLM이 쿼리 생성 로직을 스스로 추론하게 유도
- Check Tool을 도입하여 실행 전 TypeScript Type Checking을 수행함으로써 LLM의 잘못된 Function Call을 사전에 필터링하는 검증 계층 구축
- Execute Tool로 검증 완료된 쿼리만 최종 실행하는 단계적 파이프라인을 통해 Context 효율성 극대화
- OAuth 기반의 원격 서버 구조를 채택하여 엔터프라이즈 수준의 권한 관리 및 Token Revocation 메커니즘 확보
실천 포인트
1. LLM Context limit 초과 시 개별 Tool 정의 대신 통합 쿼리 언어/API 제공 검토
2. LLM 생성 결과의 신뢰성 확보를 위해 실행 전 정적 분석(Type Checking) 단계 추가
3. 엔터프라이즈 환경의 MCP 도입 시 API Key 방식보다 OAuth 기반의 세밀한 권한 제어 체계 구축