온타리오 감사관들, 의사용 AI 노트 작성기가 기본 사실을 반복적으로 틀린다고 밝혀

Context

LLM의 높은 추론 능력에도 불구하고 실제 운영 환경에서 발생하는 Hallucination 및 기본 사실 오류로 인한 신뢰성 격차 발생. 특히 의료 및 법률 등 고정밀도가 요구되는 도메인에서 단일 LLM 기반의 요약 시스템은 치명적인 데이터 왜곡 위험을 내포함.

Technical Solution

• 확률적 생성 모델의 한계 인정을 통한 단일 두뇌 구조에서 LLM, Harness, 도메인 특화 서브시스템이 결합된 복합 시스템으로의 전환
• 사실 기반 작업의 정확성 확보를 위해 LLM을 직접 사용하지 않고 확정적 동작을 보장하는 전용 도구(Deterministic Tools)로 작업을 위임하는 라우팅 설계
• 생성된 결과물의 신뢰성 검증을 위해 원본 데이터의 특정 위치로 즉시 이동 가능한 타임스탬프 링크 기반의 출처 추적성(Provenance) 구현
• 입력 품질 개선을 위해 환자-AI 접점의 전처리 단계(Intake AI)를 도입하여 정제된 컨텍스트를 의사에게 제공하는 파이프라인 구성
• 무조건적인 요약 생성보다 원본 녹취록(Ground Truth)을 기준 사실로 취급하고 사람이 필요한 지점에 요약을 수동 표시하는 하이브리드 UI 채택