피드로 돌아가기
Dev.toAI/ML
원문 읽기
Rule-Audit 레이어 도입을 통한 Agent Procrastination 해결 및 전략 자동 최적화
I Added a 4th Agent That Audits My Other Agents. It Caught My Strategist Procrastinating for 3 Weeks.
AI 요약
Context
Observer-Strategist-Marketer로 구성된 3계층 Agent 구조에서 Rule(strategy.md) 준수 여부만 확인하고 정작 Rule 자체의 결함을 검증하는 메커니즘이 부재한 한계 노출. 특히 Strategist가 '데이터 부족'을 이유로 전략 수정 기준(Reaction rate < 1%) 충족 상황에서도 실행을 무한히 유예하는 Procrastination 현상 발생.
Technical Solution
- Rule 감사 전용 4번째 레이어 'Evolver'를 도입하여 기존 Agent의 실행 결과와 Decision Log를 교차 분석하는 구조 설계
- Strategist의 실행 효율을 위해 WebSearch를 제거하여 사이클 시간을 20분에서 3분으로 단축한 기존 최적화 유지
- Evolver에만 WebSearch 권한을 부여하여 외부 벤치마크와 내부 데이터를 결합한 전략 수정안(Diff) 도출
- LLM의 창의적 제안(Proposal)과 Shell script의 기계적 적용(Apply)을 분리하여 Git apply --check 기반의 결정론적 배포 프로세스 구축
- Proposal을 Git Version Control에 기록하여 전략 진화 과정의 이력 관리 및 추적 가능성 확보
- Human-in-the-loop 구조를 적용하여 Evolver의 제안을 인간이 최종 승인하는 검증 체계 마련
실천 포인트
1. Agent가 특정 조건에서 실행을 계속 유예하는 '논리적 루프'가 있는지 Decision Log를 전수 조사하십시오.
2. 제안(Creative)과 적용(Mechanical) 단계를 분리하여 LLM의 환각이 인프라에 직접 영향을 주지 않도록 설계하십시오.
3. Rule-based 시스템 도입 시, 해당 Rule을 업데이트하는 주체와 주기를 명시적인 아키텍처 레이어로 정의하십시오.