Index-free Agentic Search와 Memory Defrag 기반의 지식 주입 시스템 설계

Context

Rails 기반의 거대 Monolith 구조에서 AI 코드 생성으로 인한 코드 품질 저하와 테스트 부족 문제 발생. 기존의 정적 Indexing 방식은 빈번한 PR 발생 시 인덱스 업데이트 비용이 과다하며, Ruby 언어 특유의 암시적 동작으로 인한 Semantic 관계 파악에 한계 노출.

Technical Solution

• Indexing overhead 제거를 위해 Grep, Read 기반의 Agentic Search 방식으로 전환하여 실시간 코드 분석 성능 확보
• 데이터 소스 추상화를 위한 Adapter Layer를 도입하여 에이전트가 DB 접근을 파일 읽기로 인식하게 하는 가상 지식 주입 구조 설계
• 에이전트의 학습 데이터 파편화를 해결하기 위해 유사 메모리를 병합하고 최적화하는 Defrag 도구 구현
• Keyword Search와 메타데이터 기반의 관련 메모리 추천 시스템을 통해 LLM의 컨텍스트 선택 효율성 극대화
• LLM이 추천된 메모리의 읽기 여부를 스스로 결정하는 Decision Loop를 설계하여 프롬프트 토큰 낭비 방지