Multi-pass 파이프라인 도입을 통한 AI 테스트 케이스 품질 80% 상향

Context

Single-pass API 호출 기반의 AI 생성 방식은 모호한 Assertion과 테스트 커버리지 누락 등 엔지니어링 관점의 정밀도 부족 문제 발생. 생성과 검토를 단일 프롬프트에서 처리함에 따라 발생하는 구조적 컨텍스트 한계 및 Token Budget 부족으로 인한 결과물 절단 현상 확인.

Technical Solution

• Worker-Judge-Optimizer로 구성된 3-Pass 파이프라인 설계를 통한 생성-검증-최적화 역할 분리
• Worker 단계에서 Boundary Value Analysis 및 Equivalence Partitioning 등 ISTQB 테스트 설계 기법을 프롬프트에 내재화하여 정밀한 테스트 데이터 생성
• Judge 단계에서 원본 User Story와 생성물을 대조하여 프로그램적으로 검증 가능한 Assertion 여부를 판별하고 품질 점수를 부여하는 QA Lead 관점의 Review 로직 구현
• Optimizer 단계를 통해 중복 Step을 Shared Precondition으로 추출하고 테스트 그룹화를 수행하는 구조적 최적화 적용
• Max Output Token을 4,096에서 8,192로 확장하여 대규모 테스트 케이스 생성 시 발생하는 데이터 유실 방지
• 생성(Generation)과 평가(Evaluation)라는 서로 다른 인지적 태스크를 분리하여 모델의 추론 정확도 향상

Impact

• 테스트 케이스 품질 지수 4-5/10에서 8-9/10으로 상승
• User Story 내 8개 Acceptance Criteria 대비 기존 3개 수준의 테스트 생성량을 8개 전수 생성으로 확대
• GPT-5.4 기준 전체 파이프라인 처리 시간 30-60초 소요