Islo Snapshot 기반의 Reproducible Eval 환경 구축 및 Meta-Harness 설계

Context

에이전트 평가 시 환경의 일관성 부족으로 인한 Score Noise 발생 및 대규모 Parallelism 처리 필요성 대두. 기존 런타임에서 Persistent Traces 확보 및 Egress 제어를 통한 Reward-hacking 방지 구조의 부재함.

Technical Solution

• Reproducible Eval 보장을 위해 Islo Snapshot을 기본 Primitive로 채택하여 모든 후보 Harness에 동일 셋업 제공
• Massive Parallelism 대응을 위해 Snapshot 기반의 독립적인 런타임 인스턴스 확장 구조 설계
• Persistent Traces 확보를 위해 stdout, stderr 및 Agent-thoughts를 저장하는 Islo Logs 시스템 통합
• Security 강화를 위해 Deny-by-default 정책의 Islo Gateway를 통한 Egress 제어 및 Reward-hacking 차단
• GitHub Source 연동을 통한 Boot 시점의 Workload 자동 클론으로 환경 구성 자동화
• Harbor 프레임워크를 Workload Spec으로 활용하여 에이전트 평가 및 RL 환경의 표준 인터페이스 구축