AI 프롬프트에 VALIDATION 블록을 추가해 출력을 자동으로 검증하고 재시도 로직을 구현하는 Prompt Contracts v2

Context

기존 Prompt Contracts v1은 입력, 출력, 에러 처리를 명시했으나 AI가 실제로 명세를 준수하는지 검증하는 방법이 없었다. 수동 검증은 일회성 작업에는 적합하지만 스크립트, 파이프라인, 정기 워크플로우에서는 확장성이 떨어진다.

Technical Solution

• VALIDATION 블록 추가: JSON 파싱 가능성, 필드 존재 여부, 열거형 값 제약, 문자 수 제한 등 기계 검증 가능한 규칙 정의
• 재시도 로직 구현: 검증 실패 시 오류 메시지를 포함해 LLM에 다시 호출하고 최대 재시도 횟수 설정
• 코드 리뷰 계약 사례: 입력(diff, context, focus_areas) → 출력(Markdown, 3개 섹션, max 800 단어) → 검증(섹션 헤더 확인, 이슈 마크업 검증, Verdict 값 제약) → 에러 처리(특정 실패에 대한 재시도 메시지)
• 검증 함수 구현: Python 예제로 required fields, type constraints, enum validation을 function으로 작성
• 검증 체크리스트 템플릿: 형식 매칭, 필드 존재, 타입 정확성, 범위/열거형 제약, 길이 제약, 할루시네이션 방지, 입력 일관성을 모든 프롬프트에 적용 가능한 형태로 제시

Key Takeaway

Prompt Contracts v2는 프롬프트를 "바람"에서 "테스트 가능한 요구사항"으로 변환해 AI 기반 시스템을 신뢰할 수 있게 만든다.