피드로 돌아가기
Dev.toSecurity
원문 읽기
Line Coverage 99%의 함정과 MC/DC 기반의 설계 검증 체계 도입
I Had Near 100% Test Coverage. It Didn't Matter.
AI 요약
Context
코드 커버리지 100%에 근접했음에도 Malformed Input 처리 누락으로 인한 CVE 발생. 단순 Statement Coverage 중심의 검증 체계로는 엣지 케이스와 비즈니스 의도(Intent)의 불일치를 해결할 수 없는 한계 노출.
Technical Solution
- NASA 및 항공우주 분야의 Evidence-based Engineering 방법론을 통한 설계 패러다임 전환
- 단순 실행 여부를 측정하는 Line Coverage 대신 결정 포인트의 독립적 영향력을 검증하는 MC/DC(Modified Condition/Decision Coverage) 도입
- 'Specification(명세) → Code(구현) → Test(검증) → Evidence(증거)'로 이어지는 Traceability 체인 구축
- Model Checking 및 시뮬레이션을 통한 코드 작성 전 단계의 Specification 검증 프로세스 적용
- AI 생성 코드의 신뢰성 확보를 위해 테스트 코드가 아닌 정적 명세를 Source of Truth로 설정
실천 포인트
- 단순 Line Coverage 수치에 의존한 품질 판단 지양 - 복잡한 조건문이 포함된 핵심 로직에 대해 MC/DC 관점의 테스트 케이스 설계 검토 - AI 생성 코드 도입 시 테스트 코드와 별개로 정적 명세서(Specification) 작성 및 동기화 여부 확인 - 결정적인 비즈니스 로직에 대해 '입력값-결과값' 쌍이 아닌 '결정 조건의 독립적 영향력' 검증 체계 구축