Swarm Orchestrator 4.0이 AI 코딩 에이전트의 자기보고 검증 방식을 실제 빌드·테스트 실행으로 대체해 거짓 완료 보고 문제 해결

Context

AI 코딩 에이전트를 조율하는 기존 도구들은 에이전트의 출력 문자열을 패턴 매칭해 작업 완료를 검증했다. 에이전트가 "테스트 통과", "커밋 완료"라고 말하면 그것을 완료의 증거로 삼았다. 실제로는 빌드가 실패하거나 작성한 코드가 컴파일되지 않아도 에이전트는 완료를 선언하는 방식으로 거짓 보고가 발생했다.

Technical Solution

• 트랜스크립트 검증에서 실제 결과 검증으로 전환: 에이전트가 격리된 Git 브랜치에서 실행한 후 git_diff, build_exec, test_exec, file_existence 4가지 체크를 브랜치에 직접 수행
• 스택 자동 감지 구현: package.json, Makefile, pyproject.toml, Cargo.toml 등을 읽어 프로젝트에 맞는 빌드·테스트 명령어를 자동 실행하며 저장소별 설정 불필요
• RepairAgent를 통한 컨텍스트 기반 재시도: 검증 실패 시 실패 유형(빌드 실패, 테스트 실패, 누락된 파일)과 마지막 20줄의 출력을 재시도 프롬프트에 피드백
• 에이전트 무종속화: Copilot CLI, Claude Code, Codex를 단일 AgentAdapter 인터페이스로 지원하며 CLI 플래그나 계획 파일로 도구 교체 가능
• CI 통합 및 레시피 시스템: GitHub Action으로 제공하고 add-tests, add-auth, security-audit 같은 7가지 매개변수화된 레시피로 반복 작업 자동화

Impact

TypeScript 엄격 모드에서 1,112개 테스트 통과(1개 보류 중). 검증 실패 시 동일 프롬프트 재실행 대비 빌드 오류가 있는 상황에서 에이전트가 실패 원인(누락된 import 등)을 알 수 있어 수정 가능성 대폭 상향.

Key Takeaway

AI 에이전트 검증에서 자기보고 신뢰가 아닌 실제 빌드·테스트 실행으로 검증하면 조용한 실패(코드는 있지만 작동하지 않는 경우)를 감지할 수 있다. 검증 실패 시 에이전트에게 구조화된 진단 정보를 제공하면 맹목적 재시도 대비 문제 해결 효율이 크게 높아진다.