피드로 돌아가기
Dev.toAI/ML
원문 읽기
Code Mode 도입으로 토큰 소모 98% 절감 및 롱테일 쿼리 처리 최적화
Code Mode for MCP: The Long-Tail Escape Hatch, Not the Front Door
AI 요약
Context
기존 MCP 서버의 Tool 기반 체이닝 방식은 복잡한 Join 및 Window Function 처리 시 다량의 토큰 소모와 낮은 작업 완결성을 초래함. LLM이 다수의 도구를 순차 호출하며 발생하는 연산 오류와 API 표면적 비대화로 인한 보안 관리의 어려움이 발생함.
Technical Solution
- Tool 체이닝 대신 백엔드 데이터 시스템의 Native Query Language를 직접 활용하는 Code Mode 설계
- validate_code와 execute_code라는 최소한의 진입점을 통한 제어된 확장 구조 채택
- SQL, OpenAPI(JS), GraphQL 등 백엔드 인터페이스 특성에 맞춘 전용 Interpreter Mode 구현
- Cedar 정책 엔진을 활용한 Read/Write/Delete/Admin 기반의 세밀한 권한 제어 체계 구축
- 단순 샌드박싱을 넘어 비즈니스 액션 단위의 Policy Evaluation을 통한 보안 경계 강화
- 롱테일 요청에 대해 LLM의 오케스트레이션 부하를 백엔드 실행 엔진으로 전이시키는 구조적 전환
Impact
- Google Drive to Salesforce 워크플로우 기준, 토큰 사용량을 150,000개에서 2,000개로 대폭 감소
Key Takeaway
LLM의 능력을 확장할 때 모든 기능을 Tool로 추상화하기보다, 도메인 특화 언어(DSL)나 쿼리 언어를 직접 실행하는 '제어된 탈출구(Controlled Escape Hatch)'를 설계하여 효율성과 보안성을 동시에 확보해야 함.
실천 포인트
- 복잡한 분석 쿼리 요청 시 Tool 개수를 늘리는 대신 Native Query 실행 가능 여부 검토 - Code Mode 도입 시 Read-only 권한부터 시작하여 실사용 패턴 분석 후 Allowlist 기반으로 권한 확대 - Cedar와 같은 정책 엔진을 통해 비즈니스 액션 단위의 권한 관리 체계 구축 - LLM의 연산 부하를 데이터베이스 엔진으로 이전하여 Latency와 Reliability 개선 도모