AI 연구자가 coding agent를 활용하여 반복적 코드 분석 작업을 자동화하고 3일 만에 5명의 팀원이 11개 agent를 구축한 사례

Context

Copilot Applied Science 팀의 AI 연구자는 벤치마크 평가 결과 분석 시 수십만 줄의 trajectory 데이터를 검토해야 했다. 기존에는 GitHub Copilot으로 패턴을 찾아 수백 줄로 줄이는 반복 작업이 필요했다.

Technical Solution

• Copilot CLI와 Copilot SDK를 활용하여 coding agent 개발 환경 구축
• Claude Opus 4.6 모델 기반의 agent를 주요 기여자로 설정
• Verbose하고 대화형 prompting 방식으로 planning mode 활용
• 자주 리팩토링하고 문서를 업데이트하는 아키텍처 전략 적용
• eval-agents 워크플로우 개념 도입

Impact

5명이 3일 만에 11개 agent, 4개 skill, eval-agent workflows를 구축하여 +28,858/-2,884 lines of code 변경 발생

Key Takeaway

Coping agent 협업에서는 대화형 지시와 planning mode 활용, 빈번한 리팩토링과 문서화가 핵심이며 문제가 발생하면 agent가 아닌 프로세스를 개선해야 한다