AI Instruction 파일 580개 분석 결과, 검증 가능 규칙 비중 3.8% 불과

Context

AI Coding Agent의 지침 파일(.cursorrules, CLAUDE.md 등) 내 규칙 준수 여부를 확인하는 정량적 검증 수단 부재. 대부분의 지침이 모호한 자연어로 작성되어 Agent의 수행 결과를 정적으로 검증하기 어려운 한계 존재.

Technical Solution

• 8종의 Verifier Engine(AST, Filesystem, Regex, Tree-sitter 등)을 통한 정적 분석 파이프라인 구축
• 102개의 Matcher를 활용하여 자연어 지침에서 기계 검증 가능한 Rule을 추출하는 분류 로직 설계
• Rule의 성격에 따라 14개 카테고리로 분류하고 Always, Prefer 등 Qualifier를 부여하여 검증 강도 차등화
• Deterministic Pipeline 설계를 통해 API Key 없이 로컬 환경에서 재현 가능한 검증 환경 제공
• --show-unparseable 플래그를 통한 미분류 라인 분석으로 지침 파일의 모호성 식별 및 개선 루프 생성

Impact

• 분석 대상 580개 파일 중 74.1%가 검증 가능한 규칙이 전혀 없는 0% Parse Rate 기록
• 전체 8,222개 라인 중 단 3.8%(309개)만이 기계적 검증이 가능한 Rule로 추출
• 추출된 규칙 중 Naming 관련 규칙이 55%로 가장 높은 비중 차지

Key Takeaway

AI Agent의 일관된 성능을 확보하기 위해서는 자연어 기반의 지침보다 AST나 정적 분석 도구로 검증 가능한 'Enforceable Rule' 중심으로 지침 파일을 설계하는 정형화 전략 필요.