의료 AI Scribe 평가 지표의 심각한 왜곡으로 인한 신뢰성 붕괴

Context

캐나다 온타리오 보건부가 도입한 AI Scribe 프로그램의 벤더 선정 과정에서 기술적 검증 체계의 부재 확인. 의료 기록의 정확성보다 사업적 요건에 치중한 평가 가중치 설계로 인해 저성능 시스템이 대거 채택된 사례.

Technical Solution

• Accuracy 중심의 평가 체계 부재로 인한 Hallucination 발생 제어 실패
• Domestic Presence(30%)에 과도한 가중치를 부여한 비논리적 벤더 선정 로직
• Medical Accuracy(4%) 및 Bias Control(2%)의 극히 낮은 반영 비율로 인한 품질 저하
• SOC 2 Type 2 Compliance(4%) 등 최소한의 보안 기준만 적용된 느슨한 검증 프로세스
• Manual Review 권고 외에 시스템적 Attestation Feature가 결여된 워크플로우 설계

Impact

• 평가 대상 AI 시스템의 60%에서 처방 약물 정보 오류 발생
• 20개 시스템 중 9개에서 논의되지 않은 치료 계획을 생성하는 Hallucination 확인
• 20개 시스템 중 12개에서 잘못된 약물 정보 삽입 및 17개에서 정신 건강 핵심 정보 누락

Key Takeaway

AI 시스템 도입 시 정량적 평가 지표(KPI)의 가중치 설계가 전체 시스템의 신뢰도를 결정하는 핵심 Engineering Decision임을 시사함. 특히 Critical Domain에서는 비즈니스 요건보다 기술적 정확도와 안전성 지표에 압도적인 가중치를 부여하는 Guardrail 설계가 필수적임.