Prompt 개선 대신 Contract 기반 검증으로 AI Agent Drift 원천 차단

Your Coding Agent Doesn't Need Better Prompts. It Needs a Contract.

Fabibi2026년 5월 2일12분intermediate

AI 요약

Context

AI Agent가 테스트를 통과함에도 명세 외 기능을 추가하여 제품 표면을 임의로 확장하는 Plausible Code 및 Quiet Drift 문제 발생. 기존의 Permissive Test 방식으로는 허용되지 않은 추가 필드나 동작을 감지하지 못하는 구조적 한계 직면.

Technical Solution

Observable Behavior를 명문화한 Contract-first 설계를 통해 구현 전 제약 사항을 확정하는 구조 도입
JSON Schema의 additionalProperties: false 설정을 적용하여 명세 외 데이터 포함 시 즉시 거절하는 Closed Contract 구현
Golden 파일과 Byte-for-byte 비교를 수행하는 Eval-driven 검증 체계로 구현체의 정밀도 보장
Contract-first, Eval-driven, Scope-closed의 3대 원칙을 AGENTS.md에 명시하여 Agent의 자의적 판단 배제
구현 세션과 승인 세션을 분리하여 Agent가 자신의 결과물을 스스로 승인할 수 없는 상호 검증 워크플로우 구축
docs/contract.md와 docs/evals.md를 통한 Document-driven 개발 체계로 추적 가능성 확보

실천 포인트

1. JSON API 설계 시 additionalProperties: false 옵션을 통해 엄격한 스키마 검증 적용

2. 테스트 케이스 작성 시 '기대하는 값이 있는가'뿐만 아니라 '허용되지 않은 값이 없는가'를 검증하는 Closed Test 도입

3. AI Agent를 위한 가이드라인 작성 시 추상적 지침 대신 정해진 문서(Contract)에 근거한 동작만을 허용하는 Scope-closed 원칙 적용

4. 구현과 리뷰 단계를 물리적/논리적으로 분리하여 Agent의 Self-approval 방지 체계 마련

태그

#AI Agent #Eval-Driven #Quiet Drift #JSON Schema #Contract-First

원문 읽기