피드로 돌아가기
GeekNewsDevOps
원문 읽기
Claude가 rsync의 버그를 늘렸는가?
Claude 도입 릴리스 버그율, 통계적 이상치 아님을 sev/10c 지표로 증명
AI 요약
Context
rsync v3.4.3 릴리스의 회귀 버그와 Claude 보조 개발 간의 상관관계 논란 발생. 단일 회귀 사례를 AI 도입 결과로 연결하는 정성적 비판에 대해 데이터 기반의 정량적 검증 필요성 제기.
Technical Solution
- 심각도 가중 버그 밀도 지표인 sev/10c(Severity-weighted bugs per 10 commits) 정의 및 적용
- GitHub Issue, Bugzilla, 메일링 리스트를 통합한 버그 데이터셋 구축 및 릴리스 단위 귀속 로직 설계
- Qwen 3 35B 모델에 SRE 페르소나를 부여하여 0~100점 척도의 정형화된 버그 심각도 채점 수행
- Exact Permutation Test 및 Fisher's Exact Test를 통한 Claude 릴리스의 통계적 유의성 검증
- v2.4.6부터 v3.4.3까지 총 36개 릴리스의 역사적 분포와 IQR(Interquartile Range) 비교 분석
- 변경 라인 수와 커밋 수의 상관관계를 분석하여 AI 도입에 따른 코드 변경 규모의 영향도 파악
실천 포인트
- 단순 버그 개수가 아닌 '가중치 기반의 밀도 지표'를 설계하여 릴리스 규모 차이를 보정할 것 - LLM 기반 코드 생성 시 커밋 메시지뿐만 아니라 실제 로직 변경 주체에 대한 엄격한 Attribution 관리 필요 - 보안 패치 등 외부 요인으로 인한 코드 변경량 증가가 버그율에 미치는 교란 변수를 함께 분석할 것