Wiki-Index 기반 검색으로 토큰 65배 절감 및 Retrieval 정확도 24pp 향상

AI Coding Agents Search Like It's 2009. Provenant Cuts Tokens by 65 .

Shreyash2026년 5월 28일7분advanced

AI 요약

Context

기존 AI 코딩 에이전트는 BM25 기반의 단순 키워드 검색을 통해 Raw Source Code를 Context Window에 적재하는 구조임. 자연어 쿼리(Behavior)와 소스 코드(Syntax) 간의 Vocabulary Gap으로 인해 불필요한 대량의 토큰을 소모하며 검색 정확도가 저하되는 한계 노출.

Technical Solution

LLM을 활용해 모든 파일 및 모듈별로 인간이 읽을 수 있는 형태의 Wiki Page를 사전 생성하는 Indexing Layer 도입
Tree-sitter를 통한 구문 분석 후 SQLite/FTS5 및 LanceDB에 저장하여 자연어 기반의 효율적 Retrieval 구조 설계
MCP(Model Context Protocol) 서버 구축을 통해 에이전트가 provenant_ask 툴로 필요한 Wiki 정보만 정밀하게 호출하도록 제어
답변 내 인용 구조를 분석하여 'Attribution Confidence' 지표를 산출하고, 신뢰도가 0.35 미만인 페이지를 자동 수정하는 Self-healing Loop 구현
HyDE(Hypothetical Document Embeddings) 적용을 통한 검색 쿼리와 문서 간의 의미적 일치도 극대화

실천 포인트

- RAG 시스템 설계 시 Query와 Document 간의 Vocabulary Gap 존재 여부 검토 - 전체 소스 코드를 Context에 넣는 대신, 모듈별 요약 문서(Wiki)를 인덱싱하여 토큰 효율성 최적화 - LLM 답변의 인용 패턴을 분석하여 Retrieval Index의 품질을 측정하는 피드백 루프 설계

태그

#tree-sitter #MCP #BM25 #RAG #Token Optimization

원문 읽기