피드로 돌아가기
Dev.toAI/ML
원문 읽기
Deterministic Rule과 LLM Memory를 결합한 이중 계층 이상 탐지 아키텍처 설계
Rules Caught Nothing, Memory Caught Everything.
AI 요약
Context
정적 규칙 기반의 송장 처리 시스템은 필드 레벨의 단순 오류는 식별하나 정교한 패턴의 부정 청구 및 중복 제출 탐지에 한계 발생. 특히 벤더별 과거 이력에 기반한 컨텍스트 분석 부재로 인해 일반적인 송장으로 위장한 오류 데이터 필터링 불가.
Technical Solution
- Deterministic Checks 계층을 우선 배치하여 API 비용 최적화 및 명백한 필드 오류를 즉시 처리하는 구조 설계
- Hindsight를 통한 과거 상호작용 데이터(최대 20개)를 LLM 프롬프트에 주입하는 Memory-Backed Pattern Detection 도입
- 분석(Analyzer)과 결정(Decision Builder)의 역할을 분리하여 동일 분석 결과에 대해 일관된 결정 값을 보장하는 Stateless 로직 구현
- Flag와 Check를 구분하고 memoryBacked 필드를 통해 탐지 근거의 신뢰도를 차등 부여하는 메타데이터 설계
- Severity 기반의 Threshold 로직을 적용하여 Error는 즉시 거절하고 High/Medium 단계는 검토 대상으로 분류하는 결정 트리 구성
실천 포인트
- 단순 유효성 검사는 LLM 호출 전 단계에서 Deterministic하게 처리하여 비용과 지연 시간 최소화 - LLM의 판단 근거가 정적 규칙인지 메모리 기반 패턴인지 구분하는 flag를 설계하여 사용자 신뢰도 제공 - LLM 결정 로직에 Confidence Score를 직접 반영하기보다, 정해진 Severity 기준에 따른 Decision Tree를 적용하여 결과의 예측 가능성 확보 - 사용자 피드백이 메모리 품질을 저하시키는 Feedback Loop 오염 가능성을 고려한 모니터링 체계 검토