피드로 돌아가기
Dev.toAI/ML
원문 읽기
정량적 지표와 Regression Hunting 기반의 LLM Prompting 전략
Use Blunt Prompts and Get Shit Done
AI 요약
Context
단순한 테스트 코드 추가 요청으로 인한 Coverage Theater 발생 및 실질적 검증 능력이 결여된 테스트 생성의 한계점.
Technical Solution
- Measurable Floor 설정을 통한 정량적 목표 부여로 LLM의 무분별한 단순 코드 생성을 방지하는 구조
- Regression Hunting 관점의 프롬프트 주입을 통한 단순 실행 확인이 아닌 결함 발견 중심의 테스트 설계
- 'At least 20% coverage'와 같은 수치적 제약 조건을 통해 LLM의 Cheap Escape Hatch를 차단하는 전략
- Test Coverage를 목적이 아닌 시작점으로 정의하여 실제 에지 케이스 및 깨진 동작을 찾는 검증 프로세스 구축
- 단순 Assertion을 배제하고 실제 동작의 유효성을 입증하는 고강도 테스트 케이스 유도 방식
실천 포인트
1. '더 많은 테스트' 대신 '커버리지 X% 상승'과 같은 수치 기반 목표 설정 여부 확인
2. 테스트 생성 후 최소 1개 이상의 실제 Regression을 발견했는지 검증 단계 추가
3. 단순 Null 체크 등 무의미한 Assertion 제거 및 비즈니스 로직의 결함을 찾는 테스트인지 검토