Scheduler 상태 기반 검증의 한계를 극복한 Artifact 중심의 Ground Truth 설계

Context

Autonomous Agent 시스템에서 Scheduler의 실행 성공 상태(Green Checkmark)가 실제 업무 완결성을 보장하지 못하는 현상 발생. Process 시작 여부만 확인하는 모니터링 구조로 인해 초기 단계의 Silent Failure를 감지하지 못하는 아키텍처적 한계 노출.

Technical Solution

• 실행 상태가 아닌 생성된 Artifact의 존재 여부를 최우선 검증 지표로 설정하는 검증 로직 도입
• 파일 생성 여부, 최신성(Freshness), 데이터 존재 여부(Non-empty)를 단계적으로 확인하는 3단계 검증 파이프라인 구축
• 요약된 Summary 로그 대신 Tool Call 단위의 Raw Transcript를 분석하여 실제 실행 경로의 병목 지점 파악
• 실패 가능성이 있는 로직 수행 전 Output 파일을 선제적으로 생성하는 Write-First 전략으로 데이터 유실 방지
• '실행됨(Ran)'과 '작동함(Worked)'을 분리하여 상태 정의를 재설립한 관측 가능성(Observability) 강화