Self-Verifiable Marker 도입을 통한 AI Rule 준수율 가시화 및 제어

I Made My AI Rules Self-Verifiable — Here's How

YuhaoLin20052026년 6월 30일3분intermediate

AI 요약

Context

AI Assistant 설정의 Rule이 단순 권고 사항으로 작동하여 실제 준수 여부를 판단할 검증 메커니즘이 부재한 상황. 추상적인 지시문 위주의 구성으로 인해 Rule 실행 여부를 정량적으로 측정할 수 없는 가시성 결여 문제 발생.

Rule 텍스트 내에 [✓MARKER] 형태의 명시적 성공 기준(Success Criteria)을 임베딩하여 추상적 지시를 이진적 액션으로 전환
AI 응답 결과물인 Transcript 내 마커 존재 여부를 Regex 기반으로 카운팅하는 기계적 검증 구조 설계
Python 표준 라이브러리만 활용한 config-health.py 스크립트를 통해 AI 추론 없이 데이터 기반의 Rule 준수율 산출
Claude Code Stop hook에 검증 스크립트를 통합하여 매 세션 종료 시 실행률을 JSONL 로그로 기록하는 파이프라인 구축
미준수 Rule을 pending-verifications.md 파일로 관리하여 다음 세션 시작 시 피드백 루프를 형성하는 상태 관리 체계 도입

실천 포인트

1. AI 지시문에 '무엇을 하라'는 명령 외에 '완료 후 특정 마커를 남기라'는 검증 가능한 액션을 추가했는가

2. LLM의 판단에 의존하지 않고 Grep이나 Regex 등 결정론적(Deterministic) 도구로 준수 여부를 측정 가능한가

3. 검증 결과가 다음 작업의 입력값이나 설정 변경으로 이어지는 피드백 루프가 설계되어 있는가

태그