피드로 돌아가기
Dev.toBackend
원문 읽기
AI 생성 코드의 'Yes-man Test' 위험성과 Contract-driven 검증 체계 도입
The most dangerous line of code your AI agent writes is the test that passes
AI 요약
Context
AI Agent가 구현 코드와 테스트 코드를 동시에 생성하며 테스트의 독립적 검증 기능이 상실된 상황 분석. 내부 저장소 정보만으로 최적화하는 AI 특성상 외부 클라이언트와의 API Contract Drift를 감지하지 못하는 구조적 한계 노출.
Technical Solution
- OpenAPI Spec 기반의 Frozen Contract를 소스 오브 트루스로 설정하여 응답 셰이프 변경 사항을 CI 단계에서 기계적으로 탐지
- 코드 수정 전 기존 동작을 정의하는 Characterization Test를 별도 단계로 수행하여 구현체와의 의존성 분리
- 필드 삭제, 타입 축소, 필수값 변경 등 5가지 핵심 Breaking Change 항목을 자동화된 Diff 분석으로 검증
- 인간의 리뷰 의존도를 낮추고 CI 파이프라인 내에서 Contract Validation을 강제하는 구조로 전환
- Agent가 생성한 테스트가 동일 커밋 내 코드 수정본을 포함할 경우 증거 가치를 배제하는 검증 프로세스 수립
실천 포인트
- [ ] AI Agent가 코드와 테스트를 동시에 수정했는가? - [ ] OpenAPI Spec 또는 JSON 샘플을 통한 Schema Diff 검증 단계가 CI에 포함되었는가? - [ ] 구현체 변경 전 기존 동작을 보장하는 Characterization Test가 먼저 작성되었는가? - [ ] 응답 필드 삭제나 타입 변경 등 Contract Drift를 감지하는 자동화 도구가 도입되었는가?