피드로 돌아가기
Dev.toAI/ML
원문 읽기
State와 Evidence의 분리를 통한 Long-horizon 상태 유지 최적화
Continuity Memory vs RAG: Different Jobs, Different Architectures
AI 요약
Context
기존 RAG 중심 아키텍처는 방대한 문서 검색에는 능숙하나 최신 상태 유지와 모순 제거에 한계 노출. 모든 정보를 동일한 권위의 텍스트로 처리함에 따라 Prompt Bloating 및 최신 정보의 희석 문제 발생.
Technical Solution
- Current State(Continuity)와 Supporting Evidence(RAG)를 분리한 계층적 메모리 구조 설계
- Wake State 도입을 통한 최소한의 필수 컨텍스트만 기본 Prompt에 포함시켜 토큰 효율성 확보
- Artifact Lookup 메커니즘을 통한 저장된 상태 값의 의도적 2차 읽기 프로세스 구현
- Hybrid Evidence 구조를 적용하여 필요 시에만 제한된 범위의 보조 자료를 결합하는 방식 채택
- Contradiction Suppression 로직을 통해 과거의 낡은 정보보다 최신 상태 값을 우선하는 거버넌스 모델 적용
실천 포인트
- 유저의 현재 상태(Timezone, Preference)와 참조 문서(Knowledge Base)를 분리하여 저장하고 있는가 - 검색된 모든 결과가 동일한 가중치로 Prompt에 삽입되어 최신 정보가 희석되고 있지는 않은가 - 세션 재개 시 전체 Transcript를 재입력하는 대신 요약된 State Model을 통해 복구하는 구조인가 - 보조 증거(Evidence)가 시스템의 확정적 상태(Authority)로 오인될 가능성을 차단했는가