피드로 돌아가기
Dev.toAI/ML
원문 읽기
100% Annotation Coverage를 통한 AI Agent 실행 안정성 확보
Tool count is a vanity metric. Annotation coverage is what makes an AI agent safe.
AI 요약
Context
기존 Function-calling 구조에서 도구의 특성 파악을 Prompt에만 의존하여 발생하던 모호성 문제 분석. 도구 개수 중심의 정량적 지표가 실제 시스템의 안전성을 보장하지 못하는 한계 직면.
Technical Solution
- MCP 기반의 Machine-readable Signal을 도입하여 에이전트의 자율적 판단 근거 마련
- readOnlyHint 적용을 통한 단순 조회 도구의 자유로운 호출 허용 및 오버헤드 감소
- destructiveHint 설정을 통한 상태 변경 도구의 호출 전 강제 확인 절차(Self-gating) 구현
- idempotentHint 정의를 통한 Timeout 발생 시 안전한 Retry 메커니즘 구축
- openWorldHint 명시로 외부 서비스 연동 도구의 영향 범위 식별 및 리스크 관리
- 단순 텍스트 문서가 아닌 스키마 수준의 메타데이터 정의를 통한 모델의 추론 신뢰도 향상
실천 포인트
1. 모든 Mutating Tool에 destructiveHint가 설정되었는지 검토
2. 외부 API 호출 도구의 openWorldHint 적용 여부 확인
3. 재시도 가능 도구에 대한 idempotentHint 정의로 시스템 안정성 확보
4. 단순 Tool Count가 아닌 Annotation Coverage 비율을 안전성 지표로 관리