피드로 돌아가기
Dev.toAI/ML
원문 읽기
Dual-Signal Governor 도입을 통한 Drift Detector False Positive 해결
The Dual-Signal Governor: A Control-Plane Pattern for Drift-Aware Systems
AI 요약
Context
Embedding 기반 Drift Detector의 Stateless한 기하학적 임계값 방식에 따른 False Positive 문제 발생. 세션 내 일시적 의미 확장 후 복귀하는 Trajectory를 인식하지 못해 불필요한 Alert가 지속되는 구조적 한계 노출.
Technical Solution
- Geometric Displacement(Signal A)를 통한 고감도 Detection Layer 구축
- LLM 기반 Semantic Continuity(Signal B)를 활용한 문맥 인식 Interpretation Layer 추가
- 두 신호 간의 불일치(Divergence, Signal C)를 분석하여 False Positive 여부를 판별하는 Arbitration 메커니즘 설계
- Signal A의 Alert 상태에서만 Signal C를 활성화하여 불필요한 LLM 호출을 방지하는 효율적 트리거 구조 채택
- 불확실성 구간의 일시적 억제를 위한 Hold 모드와 확정적 일관성 기반의 Veto 모드로 구분한 제어 로직 구현
- 기존 Detector의 임계값을 수정하지 않고 상위에 Governor 레이어를 추가하여 Sensitivity와 Precision을 분리 설계
실천 포인트
1. 고감도 트리거와 저속 정밀 검증 레이어를 분리하여 설계했는지 검토
2. 상태 기반의 단순 임계값 판단이 아닌 시계열적 Trajectory 분석이 필요한지 확인
3. 두 신호의 불일치(Divergence)를 별도의 의사결정 지표로 정의하여 사용