저자가 Claude Code의 토큰 소비 문제를 해결하는 Mnemosyne 컨텍스트 엔진을 개발하여 대규모 코드베이스에서 73% 토큰을 절약했다

Context

LLM 코딩 에이전트가 대규모 저장소에서 파일 스캔 시 토큰을 과다 소비한다. 829개 파일 코드베이스에서 Claude Code가 관련 코드를 찾는 데 45K 토큰을 사용한다. 대화 3회차부터 컨텍스트가 소진된다.

Technical Solution

• 코드베이스와 LLM 사이에 Mnemosyne가 위치하여 SQLite에 인덱싱을 수행한다
• BM25, TF-IDF, symbol search, usage frequency, predictive prefetch, dense embeddings 6가지 검색 신호를 Reciprocal Rank Fusion으로 결합한다
• Python, Go, Rust, C#, Java, Kotlin, JS/TS 대상 AST 인식 청킹을 적용한다
• 전체 토큰 예산 범위 내에서 정확한 컨텍스트를 제공한다
• CLAUDE.md 또는 .cursorrules에 3줄 추가만으로 에이전트 통합을 완료한다

Impact

토큰 소비량이 73% 감소하여 900K에서 243K로 축소되었다

Key Takeaway

AST 인식 분할과 다중 검색 신호 융합을 결합하면 대규모 코드베이스에서 LLM 에이전트의 대화 효율성이 극적으로 향상된다