피드로 돌아가기
Dev.toSecurity
원문 읽기
Verified Carryover 도입을 통한 Agent Memory의 Close-Laundering 공격 차단
The Rule Held. The Boundary Moved Up. AI Memory Judgment, CLAIM-31: Verified Carryover Across Closes
AI 요약
Context
개별 Step 단위의 Gate 검증 방식은 전체 Trajectory에서 발생하는 누적 공격을 탐지하지 못하는 한계 존재. 특히 정당한 Close 동작을 통해 Window 내 Count를 리셋하고 다시 공격을 수행하는 Transaction Structuring 방식의 우회 경로가 식별됨.
Technical Solution
- 단순 Rolling Cap 도입 시 발생하는 검증되지 않은 메모리 신뢰 문제를 해결하기 위해 Verified Carryover 구조 설계
- Append-only Operation Log 기반으로 Close 동작의 주체, 대상, 행위자 일치 여부를 재계산하는 State-transition Integrity Check 구현
- Per-window Cap(500) 상위에 Verified Close를 통한 Rolling Cap(800)을 계층적으로 배치하여 정상 작업 유지와 세탁 공격 차단을 동시에 달성
- Agent가 직접 제어할 수 없는 외부 Log에 기반하여 검증 로직을 분리함으로써 내부 메모리 조작 가능성을 원천 차단
- 모델의 판단이 아닌 Frozen Constant와 로그 기반의 결정론적(Deterministic) 재계산 방식을 통한 검증 신뢰성 확보
실천 포인트
1. 상태 리셋 로직이 포함된 시스템에서 단순 누적 값(Running Total)만 신뢰하고 있지 않은가?
2. Boundary 변경 권한이 제어 대상(Agent/User)에게 있어 이를 이용한 상태 세탁(Laundering)이 가능한가?
3. 검증 로직이 내부 상태 메모리가 아닌 외부의 Append-only Log를 기반으로 재계산되는 구조인가?
4. 정상 케이스의 허용 범위와 공격 케이스의 차단 범위를 구분하는 계층적 Cap 설계가 적용되었는가?