RAG의 데이터 Stale 문제를 MCP 기반 Live Query로 해결한 인프라 감사 시스템

Why I chose MCP over RAG for live infrastructure auditing

dnyandeo bharambe2026년 5월 28일5분advanced

AI 요약

Context

분산 하드웨어 인프라의 실시간 컴플라이언스 점검을 위해 초기 RAG 아키텍처를 도입했으나, Vector Store의 스냅샷 특성으로 인한 데이터 최신성 결여 문제 발생. 정적 문서 검색 방식이 실시간 상태 확인이 필수적인 인프라 감사 요구사항과 충돌하여 오판단 유발.

Technical Solution

RAG의 검색 기반 접근을 MCP(Model Context Protocol) 기반의 Tool Use 구조로 전환하여 SQLite 및 정책 파일에 직접 접근하는 실시간 쿼리 체계 구축
FastAPI Gateway를 LLM 전면에 배치하여 IP 기반 Rate Limit 적용 및 의도 분류(Intent Classification)를 통한 모델 라우팅 최적화
메인 에이전트의 추론 결과와 원본 정책 파일을 독립적으로 대조 검증하는 별도의 'The Judge' LLM 계층을 추가하여 논리적 오류 차단
LangGraph 상태 머신 내에 '제안'과 '실행' 노드를 분리하고 Human-in-the-loop 승인 절차를 강제하여 오작동으로 인한 인프라 장애 위험 제거
정형 데이터(Inventory)와 비정형 데이터(Policy)를 임베딩 없이 Typed Tool Interface로 제공하여 데이터 왜곡 가능성 제거

실천 포인트

- 실시간 상태 업데이트가 중요한 시스템에서는 RAG보다 MCP 기반의 직접 쿼리 인터페이스 검토 - LLM 비용 최적화 및 안정성을 위해 프론트엔드와 모델 사이에 의도 분류 및 Rate Limit 기능을 갖춘 API Gateway 배치 - 에이전트의 환각(Hallucination) 방지를 위해 컨텍스트를 공유하지 않는 독립적인 검증 모델(Judge) 도입 - 인프라 변경과 같은 고위험 작업 시 상태 머신 수준에서 Human-in-the-loop 승인 프로세스 설계

태그

#Human-in-the-loop #LLM-Gateway #MCP #RAG #LangGraph

원문 읽기