Relevance를 넘어 Authority 기반 Scoring 모델로 Agent Retrieval 정밀도 개선

I Tried to Turn Agent Memory Authority Into a Scoring Formula. The Held-Out Test Changed the Claim.

Self-Correcting Systems2026년 6월 3일13분advanced

AI 요약

Context

BM25 기반의 단순 Relevance retrieval 방식은 의미론적 유사성만 높은 Distractor 존재 시 잘못된 Action을 선택하는 한계 노출. 특히 권한(Authority)과 관련성(Relevance)의 목적 차이로 인해 실제 정책(Policy)보다 단순 메모리가 우선순위를 점유하는 현상 발생.

Technical Solution

단순 BM25 점수에 Authority Metadata 가중치를 합산하는 Governance Scoring Formula 도입
Memory Type 및 Priority, Verification 요구사항에 따른 authority_weight 부여로 신뢰도 차등화
Governs 필드 기반의 Scope Match 및 Specificity 가중치를 통해 광범위한 정책보다 구체적인 정책에 우선순위 할당
Action Type(Read/Write/Execute) 일치 여부에 따른 가중치 부여로 실행 요청에 최적화된 메모리 추출
유효기간 및 Superseded 상태를 반영한 status_validity_weight와 중복 권한 발생 시의 conflict_risk_penalty 적용
Relevance를 기본 Baseline으로 유지하되 Authority Metadata 존재 시 이를 결정적 신호로 활용하는 구조 설계

실천 포인트

1. Retrieval 대상 데이터에 Governs, Priority, Action Type 등 권한 관련 메타데이터 정의 여부 검토

2. 단순 벡터/키워드 유사도 외에 도메인 특화 가중치(Weight)를 합산하는 Scoring Layer 추가 고려

3. 자체 생성 데이터가 아닌 Held-out Test Set을 통해 모델의 일반화 성능 및 메타데이터 의존성 검증

태그

#Scoring Formula #BM25 #Retrieval #Authority Management #Agent Memory

원문 읽기