I/O 오버헤드 제거 및 Observability 확보로 실행 시간 3,000초에서 470초로 단축

Context

PDF 기반 ETL 파이프라인의 QA 및 Diagnostics 단계 도입 후 시스템 정지 현상 발생. 낮은 Runtime Visibility로 인해 실제 장애 지점과 단순 처리 지연을 구분하지 못하는 아키텍처적 한계 노출.

Technical Solution

• Stage Boundary에 Timing Instrumentation을 도입하여 병목 구간을 정밀하게 식별하는 구조 설계
• CPU/RAM 모니터링을 통해 단순 Timeout 경고와 실제 프로세스 종료 상태를 분리하여 분석
• Row-level Loop 내에서 반복 실행되던 pdfplumber.open 호출 구조를 분석하여 I/O 중복 발생 지점 포착
• 매 행마다 PDF 전체 페이지를 재스캔하던 extract_pdf_context 함수의 불필요한 재계산 로직 식별
• 추측성 패치 대신 Runtime Cost를 레이어별로 추적하여 근본적인 Bottleneck 제거