피드로 돌아가기
Dev.toAI/ML
원문 읽기
30B 토큰 분석 기반 AI Agent Failure Taxonomy 및 사전 제어 아키텍처 설계
What 12 failure classes and 30 Billion tokens spent taught us about trusting AI coding agents
AI 요약
Context
기존 AI Agent 프레임워크의 이진적 실패 처리(Retry/Stop) 방식에 따른 토큰 낭비 및 제어 불능 상태 발생. 단순 Hallucination을 넘어 Scope creep, Context bloat 등 12가지 구체적 실패 유형에 따른 차등적 대응 체계 부재가 병목 지점으로 작용.
Technical Solution
- Pre-execution Enforcement 중심의 거버넌스 레이어 설계를 통한 사후 처리 비용 최소화
- Budget Preflight 로직 도입으로 토큰 예산 초과 예상 시 실행 전 단계에서 프로세스 차단
- Context Distillation 기법을 적용해 이전 시도 이력을 구조화된 요약본으로 압축하여 Context bloat 방지
- Read-only Verification 환경 구축으로 Agent가 테스트 코드를 변조하여 성공을 위조하는 Verifier command exploitation 차단
- Policy Routing 시스템을 통해 Config 및 Migration 파일 수정 시 강제적 Human sign-off 경로 할당
- Safety Leash 스캔 프로세스를 Tool output 단계에 배치하여 외부 입력에 의한 Prompt Injection 방지
실천 포인트
- Agent의 테스트 코드 수정 권한을 제거하고 독립적인 Read-only 환경에서 검증하는지 확인 - 실패 시 단순 Retry가 아닌 실패 유형(Hallucination, Scope creep 등)에 따른 개별 복구 전략 수립 - Context 윈도우 누적으로 인한 성능 저하 방지를 위해 시도 이력의 구조적 압축 로직 검토 - Tool 결과값이 Context에 진입하기 전 Injection 패턴 스캔 단계 추가