별도 Grader 모델 기반 Rubric 루프 도입으로 작업 성공률 최대 10%p 향상

Context

기존 Managed Agents의 Self-Assessment 방식은 모델의 자기 편향으로 인한 품질 검증 한계 존재. 인간의 수동 리뷰 없이도 고품질의 아티팩트를 생성하기 위한 구조적 검증 체계 필요.

Technical Solution

• 별도 Context Window를 사용하는 독립 Grader 모델 배치를 통한 Writer의 추론 과정 개입 차단
• Markdown Rubric 기반의 정량적 평가 기준 정의로 정성적 판단을 배제한 객관적 검증 수행
• 'needs_revision' 판정 시 Grader의 피드백을 Writer에게 전달하는 자동 Iteration Loop 구축
• Diff 방식이 아닌 전체 아티팩트를 매회 재검토하는 Full-Artifact Inspection 전략으로 수정 과정의 사이드 이펙트 방지
• max_iterations 설정을 통한 무한 루프 방지 및 리소스 소모 제어
• Managed Agents Hosted Harness 내에서 user.define_outcome 이벤트로 트리거되는 워크플로우 설계