코드 생성 능력을 넘어 자율적 생산성으로, Harness Engineering 전략

Context

AI 에이전트의 코드 생성 능력 향상에도 불구하고 실제 생산성 증가는 미비한 상태. 개발자가 검증 병목 지점이 되는 수동 워크플로우 구조. 에이전트가 받는 피드백 루프의 품질이 결과물의 품질을 결정하는 한계.

Technical Solution

• 에이전트가 스스로 작업을 검증하도록 돕는 보조 구조인 Harness Engineering 설계
• Docstring과 Assertion 기반의 자동화된 피드백 루프를 구축하여 인간 개입 없는 수십 차례의 반복 수정 구현
• MCP 서버인 Toolshed를 통해 400개 이상의 도구와 개발 환경에 대한 전체 접근 권한 제공
• Linter, Formatter, Type Checker를 순차적으로 통과하는 결정론적 검증 단계 강제 적용
• 컴파일러 출력, 로그, Trace ID 등 실제 엔지니어가 사용하는 풍부한 런타임 신호를 컨텍스트 윈도우에 제공
• 격리된 Preview 환경과 브라우저 제어 도구를 활용한 End-to-End 시각적 검증 체계 구축

Impact

• Stripe의 Minions 프레임워크를 통해 매주 1,000개 이상의 Pull Request 병합 달성

Key Takeaway

AI 에이전트의 자율성은 모델의 지능이 아닌 제공되는 피드백 신호의 풍부함과 인프라 수준의 제약 조건에 의해 결정됨.