단일 GPU로 하룻밤 사이 100회 실험을 자동화한 Metric-driven Autoresearch 설계

Context

기존 AI 에이전트의 Ralph Wiggum 패턴은 단순 Task 완료 여부를 확인하는 Binary Check 기반의 루프로 동작함. 이는 명확한 종료 지점이 있는 작업에는 유효하나, 지속적인 성능 개선이 필요한 R&D 최적화 작업에서는 인간의 판단이 개입해야 하는 Human-in-the-Loop 구조의 병목 현상을 야기함.

Technical Solution

• Human-Before-the-Loop 구조로 전환하여 인간의 역할을 '실행'에서 '성공 지표 정의'로 변경
• 최적화할 단일 Metric과 제약 사항을 명시한 Markdown 문서 기반의 Arena 설계
• [제안 $\rightarrow$ 실험 실행 $\rightarrow$ Metric 측정 $\rightarrow$ 최적안 유지 $\rightarrow$ 반복]으로 이어지는 자율 피드백 루프 구축
• 단순 완료 여부가 아닌 이전 단계 대비 성능 향상 여부를 판단하는 Continuous Metric 평가 로직 도입
• 하룻밤 사이 100회 이상의 반복 실험을 통해 최적의 코드와 하이퍼파라미터를 찾는 탐색 공간 아키텍처 구현