Prose에서 Structure로의 전환을 통한 AI 에이전트 API 테스트 복구 성공률 제고

Context

기존 Jest 등 테스트 도구의 stderr 기반 Prose 에러 메시지는 다양한 실패 원인을 하나의 텍스트로 통합하여 제공함. 이로 인해 AI 에이전트가 구체적인 병목 지점을 식별하지 못하고 잘못된 추측에 기반한 패치를 반복하며 복구 성공률이 30~50% 수준에 머무는 한계 발생.

Technical Solution

• 에러 응답을 단순 텍스트가 아닌 failure_category, error_code, request/response 바디를 포함한 Structured JSON 형태로 정의하여 에이전트의 결정 논리를 정교화함
• AI 모델의 학습 데이터에 이미 포함된 YAML 포맷을 채택하여 별도의 DSL 학습 비용 없이 .tarn.yaml 파일로 테스트 케이스를 정의하는 구조 설계
• capture 메커니즘을 도입하여 이전 단계의 응답 값($.id 등)을 타입 유지 상태로 추출하고 다음 단계의 URL 및 Assertion에 동적으로 주입하는 파이프라인 구축
• Rust 기반의 Single Static Binary로 구현하여 CI/CD 환경 및 다양한 OS 플랫폼에서 의존성 없는 즉각적인 실행 환경 제공
• failure_category(connection_error, timeout, assertion_failed 등)에 따른 6-state Enum 기반의 분기 로직을 통해 에이전트가 서버 재시작, 타임아웃 조정, JSONPath 수정 중 최적의 해결책을 선택하도록 유도