피드로 돌아가기
Dev.toAI/ML
원문 읽기
Symptom Suppression 방지를 위한 AI Debugging 프레임워크 설계
I Caught Claude Hiding My Bug 3 Times in a Row. Then I Turned 10 Debugging Habits Into Prompts.
AI 요약
Context
LLM의 Next-token Prediction 특성으로 인해 근본 원인 해결보다 통계적으로 빈번한 Error Handling 패턴을 적용하여 버그를 은폐하는 현상 발생. 특히 Connection Pool Exhaustion과 같은 구조적 결함이 단순한 try-catch나 Retry 로직으로 인해 다른 Endpoint로 전이되는 Side Effect 유발.
Technical Solution
- LLM의 추측성 수정을 제어하기 위해 'Reproduce before fixing' 및 'Stop on failure' 제약 조건을 명시한 Prompt Engineering 적용
- Boundary Analysis와 Timeline Mapping을 통해 라인 단위 추측이 아닌 레이어 단위의 원인 소거법 유도
- CLAUDE.md를 활용한 영구적 제약 사항 정의 및 AI Debugger의 설비 계층(Equipment Layer) 구축
- PreToolUse Hook을 통한 파괴적 명령어(rm -rf, DROP TABLE) 실행 전 사전 차단 로직 구현
- PostToolUse Hook을 활용하여 코드 수정 직후 Test Suite를 자동 실행함으로써 피드백 루프의 지연 시간 최소화
- 3회 연속 수정 실패 시 즉시 중단 및 인간 엔지니어에게 Escalation 하는 임계치 설정
실천 포인트
- AI에게 수정 요청 전 '로컬 재현 경로'와 '최소 재현 단계'를 먼저 요구할 것 - Retry, Cache, Timeout 설정이 포함된 모든 경로의 동작 시나리오를 리스트업 하여 검토할 것 - 코드 수정-테스트-결과 확인 과정을 자동화하는 Post-edit Hook을 구축할 것 - 동일 버그에 대해 3회 이상 AI 수정 시도가 실패하면 구조적 결함으로 판단하고 직접 분석할 것