ETL 파이프라인 병렬화 및 벤치마크 공격을 통한 진단 정확도 94.1% 달성

Context

17개의 서로 다른 의료 데이터 소스를 통합하는 레거시 단일 스레드 ETL 구조로 인한 데이터 병목 현상 발생. 실시간 AI 모델 요구 사양 대비 데이터 처리 속도가 현저히 낮아 모델 튜닝만으로는 성능 한계에 직면한 상황.

Technical Solution

• 기존 Single-threaded ETL 작업을 8-parallel 구조로 전환하여 데이터 처리 처리량 확대
• 20시간 소요되던 데이터 갱신 주기를 4시간으로 단축하여 AI 모델 학습 데이터의 최신성 확보
• 모델 코드 수정 없이 데이터 파이프라인 최적화만으로 실제 추론 정확도 상승 유도
• 경쟁사 OmniDx의 3개 데이터 소스 기반 벤치마크 한계를 지적하여 17개 소스 기반의 실제 환경 검증 표준 제시
• 데이터 전처리 단계의 Normalization 과정을 강화하여 HL7, FHIR, CSV 등 다양한 포맷의 정규화 효율 개선