Can AI agents build real Stripe integrations? We built a benchmark to find out

Context

최신 LLM은 함수 구현부터 파일 레벨 리팩토링까지 범위가 정해진 코딩 문제는 해결할 수 있지만, 실제 소프트웨어 엔지니어링 프로젝트의 장기적 자동화 능력에는 측정되지 않은 격차가 존재한다. Stripe 같은 사용하기 쉽게 설계된 API도 통합 완료까지는 새로운 API 처리, 프론트엔드 테스트, 데이터베이스 마이그레이션 같은 크로스 도메인 "접착" 작업이 필요하며, 결제 시스템은 100% 정확도를 요구한다.

Technical Solution

• 풀스택 Stripe 통합 환경 구축: 전체 코드베이스, 데이터베이스, 테스트 Stripe API 키를 포함한 11개의 다양한 환경 개발
• goose 기반 에이전트 하네스 표준화: 모든 모델에 동일한 터미널, 브라우저, Stripe 전용 검색 도구 제공 (Model Context Protocol 기반)
• 3가지 카테고리의 평가 과제 설계: 백엔드 전용 작업(데이터 마이그레이션, API 버전 변경), 풀스택 작업(서버 + 클라이언트 + 브라우저 검증), 심화 문제 세트(Checkout, 구독 같은 특정 기능)
• 자동화된 채점기 구현: 결정론적 테스트를 통한 API 호출 검증, UI 자동화 테스트, Stripe 객체 생성 검증
• 반복 가능한 실험 환경 제공: 실패 시 프롬프트, 스킬, 브라우저 도구 개선안을 테스트하기 위한 재실행 가능한 환경

Impact

• Claude Opus 4.5: 풀스택 API 통합 작업 4개에서 평균 92% 점수
• GPT-5.2: 심화 문제 세트 2개에서 평균 73% 점수
• 모든 벤치마크 모델: 최고 성능 실행에서 평균 63 턴(차례) 동안 생산성 유지

Key Takeaway

API 통합 능력을 평가할 때는 코드 생성 능력만 측정하지 말고, UI 탐색, 라이브 디버깅, 문서화되지 않은 동작 처리 같은 엔드투엔드 검증 능력을 포함한 벤치마크를 설계해야 실제 프로덕션 환경의 성공 가능성을 판단할 수 있다.