피드로 돌아가기
Dev.toAI/ML
원문 읽기
非本科工程師的踩坑心得：環境數據處理，為什麼跟線上課程教的都不一樣？
Domain-Driven Data Engineering를 통한 환경 데이터 무결성 확보
AI 요약
Context
일반적인 Data Science의 정규 분포 가정을 환경 데이터에 적용함에 따른 데이터 왜곡 발생. 범용적인 Pandas 전처리 기법이 물리적 특성과 법적 규제 요건을 반영하지 못하는 한계 노출.
Technical Solution
- Missing Values의 물리적 원인(센서 장애, 교정 주기) 분석을 통한 임의 보간법(Imputation) 배제 및 정보 보존 구조 설계
- Outliers를 단순 Noise가 아닌 시스템 Boundary Condition 및 환경 리스크 지표로 정의하여 데이터 보존 로직 구현
- 지구과학적 주기성(Seasonal/Diurnal Cycle)을 Feature로 추출하여 Time Series 모델의 비정상성(Non-stationarity) 해결
- Left-censored Data(ND, MDL) 처리를 위해 문자열 타입을 1/2 MDL 등의 도메인 기반 수치로 변환하는 정밀 파이프라인 구축
- 감사 추적(Audit Trail) 및 법적 증빙을 위한 전처리 로직의 모듈화 및 캡슐화 추진
실천 포인트
- 데이터 결측치 처리 전 해당 도메인의 물리적 발생 원인을 먼저 정의했는가? - Outlier 제거 전 해당 값이 시스템의 한계치나 핵심 이벤트인지 검증했는가? - 시계열 데이터 분석 시 도메인 특유의 주기성(Seasonality)이 피처에 반영되었는가? - 검출 한계 미만(Left-censored) 데이터의 처리 기준이 학술적/법적 근거를 갖추었는가?