피드로 돌아가기
Dev.toAI/ML
원문 읽기
Semantic Memory 기반 MCP 서버 도입으로 검색 지연 30초에서 100ms로 단축
Claude Code Was Getting Dumber. Semantic Memory Fixed It.
AI 요약
Context
30개 이상의 마이크로서비스 문서화 파일 증가로 인한 Context Window 낭비 및 정보 검색 효율 저하 발생. 기존 파일 기반 읽기 방식은 불필요한 토큰 소모와 잘못된 문서 참조로 인한 할루시네이션 유발.
Technical Solution
- RAG의 청크 단위 손실 문제를 해결하기 위해 문서가 아닌 '독립적 사실(Fact)' 단위의 Semantic Memory 구조 설계
- all-MiniLM-L6-v2 모델과 TurboQuant 4-bit 벡터 압축을 통한 CPU 기반 고효율 임베딩 검색 환경 구축
- MySQL을 활용하여 카테고리, 태그, Agent ID 기반의 메타데이터 필터링 계층 추가
- MCP(Model Context Protocol)를 통한 6가지 전용 툴 제공으로 AI의 능동적인 메모리 제어 권한 부여
- CLAUDE.md에 'Memory-First Rule'을 명시하여 파일 탐색 전 세만틱 검색을 강제하는 오퍼레이션 체인 정의
-
헤더 기준의 세밀한 파싱을 통해 컨텍스트 유지와 정보 밀도 사이의 최적 Granularity 확보
실천 포인트
1. RAG 도입 시 단순 청킹 대신 의미론적으로 완결된 '사실 단위'의 데이터 구조 검토
2. AI 에이전트의 행동 지침(System Prompt)에 도구 사용 우선순위(Order of Operations)를 명시적으로 정의
3. 벡터 검색 시 노이즈 제거를 위한 유사도 임계값(Similarity Threshold) 최적화 수행
4. 정보 최신성 유지를 위한 메모리 업데이트 및 하이진(Hygiene) 관리 프로세스 수립