피드로 돌아가기
Dev.toAI/ML
원문 읽기
Subagent Prompt Injection 기반의 AI Verification 프레임워크 sonmat 설계
Your AI is confident. Your AI is wrong. You shipped it anyway.
AI 요약
Context
Main Session의 가이드라인이 Subagent로 전파되지 않는 Claude Code 플랫폼의 구조적 한계 발생. 이로 인해 AI의 과잉 확신과 사용자의 검증 생략이 결합되어 테스트 누락 및 결함 코드가 배포되는 신뢰성 문제 직면.
Technical Solution
- Dispatch 시점에 모든 Worker Prompt에 검증 규칙을 직접 주입하는 Direct Injection 구조 설계
- 파일 참조나 Hook 방식 대신 실제 프롬프트 내에 'Break, Cross, Ground' 검증 로직을 포함하여 전파 누락 차단
- 단순 결과 출력이 아닌 추론 과정(Reasoning)과 불확실성 지점을 명시하여 사용자의 비판적 검토 유도
- 모호한 지시나 충돌 상황 발생 시 무조건적인 수행 대신 역질문을 수행하는 양방향 검증 메커니즘 도입
- 모든 상황에 적용되는 범용 규칙 대신 컨텍스트에 따라 활성화되는 Domain-specific Traps 로직 구현
- 반복 실패나 예외 상황 감지 시 자동으로 Worker를 추가 생성하거나 일시 정지하는 자동 Escalation 체계 구축
실천 포인트
- AI Agent 설계 시 메인 세션과 워커 세션 간의 Context 전파 경로를 명확히 정의했는가 - AI의 확신도(Confidence)를 신뢰 지표가 아닌 검증 필요 신호로 처리하는 로직이 포함되었는가 - 가이드라인을 외부 파일로 분리하기보다 실행 시점의 프롬프트에 직접 포함하여 강제성을 확보했는가 - 결과물과 함께 해당 결과에 도달한 추론 과정과 불확실한 요소를 함께 출력하도록 설계했는가