The Death of Traditional Testing: Agentic Development Broke a 50-Year-Old Field, JiTTesting Can Revive It

Context

에이전트 기반 소프트웨어 개발의 확산으로 코드 변경 속도가 급격히 증가했으나, 수동으로 작성·유지되는 기존 테스트 스위트는 이 속도를 따라가지 못하고 있다. 미래 변경을 예측하며 작성되는 전통적 테스트는 거짓 양성이 증가하고 테스트 유지 비용이 기하급수적으로 높아지는 문제를 야기한다.

Technical Solution

• LLM이 Pull Request 제출 시점에 코드 변경의 의도를 자동으로 추론하고 해당 변경에만 특화된 테스트 생성: 새로운 코드 변경이 발생할 때마다 실시간으로 테스트 작성
• 의도 기반 결함 시뮬레이션: 코드 변경의 플ausible intention을 이해한 후 mutants(의도적으로 결함을 삽입한 코드 버전)를 생성하여 예상 가능한 장애 시나리오 자동 생성
• 테스트 신호 집중화: Rule 기반 및 LLM 기반 assessors의 ensemble을 사용해 진정한 결함 신호에만 집중하고 거짓 양성 최소화
• 메모리 상 테스트 생성 및 폐기: 생성된 JiTTests는 코드베이스에 저장되지 않아 별도의 테스트 유지보수 불필요
• 엔지니어 리뷰 최소화: 실제 버그가 탐지된 경우에만 인간 리뷰 필요

Key Takeaway

에이전트 기반 개발 환경에서는 일반적인 코드 품질 검증보다 특정 변경에서 실제 결함을 찾으면서 거짓 양성을 최소화하는 테스트 인프라로의 전환이 필수적이다.