피드로 돌아가기
Dev.toAI/ML
원문 읽기
Recall-Consumption 간극 해결을 통한 Agent Persona Drift 방지 및 V7 거버넌스 유연성 확보
Compass v1.1.0 · we shipped a memory plugin that catches its own consumption drift
AI 요약
Context
Recall 과정에서 파일 경로와 제목만 제공됨에 따라 Agent가 실제 본문 내용을 읽지 않고 추측으로 동작하는 Consumption Drift 문제 발생. 이는 단순한 모델 성능 문제가 아닌, Context Window에 실제 규칙이 주입되지 않는 구조적 설계 한계로 인한 실패임.
Technical Solution
- Top-3 Recall 결과에 Body 앞부분 800자를 즉시 임베딩하여 별도의 Read tool 호출 없이 Working Context에 규칙을 강제 주입하는 구조 설계
- 과거 실수 데이터(Negative Anchors) 매칭 시 단순 레이블 제공이 아닌, 관련 Lesson Body를 함께 전달하여 Actionable한 경고 체계 구축
- recall_consumption.py 모듈을 도입하여 Recall된 파일 경로와 실제 Read tool 호출 이력을 교차 검증하는 정량적 Drift 탐지 로직 구현
- 25회 Tool Call마다 실행되는 mid_session_hook을 통해 Unconsumed Ratio 0.3 미만 시 경고를 발생시키는 저비용 감사 루프 구축
- 고정 템플릿 방식의 Dispatcher를 제거하고, Capability-based Registry와 DAG 기반 Phase 매핑을 통한 데이터 중심의 유연한 거버넌스 구조로 전환
실천 포인트
1. RAG 설계 시 Metadata(제목, 경로)만 제공하는지, 실제 Action에 필요한 핵심 Body가 Context에 포함되는지 검증하라.
2. Agent의 반복적 실수를 막기 위해 단순 가이드라인이 아닌 Negative Anchor 기반의 실시간 Drift Detector 도입을 검토하라.
3. 하드코딩된 라우팅 로직 대신 Capability/Domain 기반의 Registry 구조를 채택하여 코드 수정 없는 확장성을 확보하라.