피드로 돌아가기
Dev.toAI/ML
원문 읽기
MCP 기반 문서 온디맨드 로딩으로 LLM Token 낭비 제거 및 최신 API 정확도 확보
Giving AI agents knowledge they were never trained on
AI 요약
Context
LLM이 학습하지 않은 내부 라이브러리나 특정 버전의 프레임워크 사용 시 API 추측으로 인한 코드 생성 오류 발생. 전체 문서를 컨텍스트에 주입하는 방식은 과도한 Token 소비와 비용 증가를 초래하는 병목 지점으로 작용.
Technical Solution
- Model Context Protocol(MCP) 서버 기반의 구조적 문서 제공 체계 구축
- Full-text 로딩 대신 Table of Contents 기반의 계층적 데이터 추출 및 필요한 Chapter만 선택적 로드하는 On-demand Fetching 메커니즘 적용
- Markdown, C# XML, TypeDoc JSON 등 정형/비정형 소스를 통합 처리하여 Real Signature와 Shape를 보장하는 추상화 레이어 설계
- Path-traversal 방지 로직을 포함한 Sandbox 환경 구현으로 로컬 디스크 및 GitHub 리포지토리 접근 권한 제어
- Regex 및 Glob 기반의 전용 Search Tool을 제공하여 LLM의 임의적 grep 시도를 방지하고 검색 정확도 향상
- Multi-library 설정을 통한 단일 서버 내 다수 라이브러리 호스팅 및 Library Parameter 기반의 쿼리 라우팅 구현
실천 포인트
- LLM에게 방대한 문서를 전달하기 전 TOC(목차)를 먼저 제공하여 필요한 구간만 요청하게 하는 인터페이스 설계 검토 - API 레퍼런스 제공 시 소스 코드 직접 분석보다 TypeDoc JSON이나 XML 같은 정형화된 문서 파일을 중간 매개체로 활용 - 외부 리포지토리 연동 시 전체 Clone 대신 특정 버전/경로만 API로 호출하는 효율적 데이터 파이프라인 구축