피드로 돌아가기
Dev Log: 2026-06-28
Dev.toDev.to
Backend

데이터 Ingest 파이프라인 예외 처리 및 CSS 레이아웃 최적화

Dev Log: 2026-06-28

Nasrul Hazim Bin Mohamad2026년 6월 30일3intermediate

Context

분석 제품의 Ingest 파이프라인이 날짜 컬럼 누락 및 비수치 데이터 등 정제되지 않은 실데이터 업로드 시 장애가 발생하는 구조적 한계 보유. 사이드바 축소 상태에서 Flex 방향 전환에 따른 마진 간섭으로 브랜드 마크의 정렬이 어긋나는 UI 이슈 발생.

Technical Solution

  • 파일명 내 패턴 매칭을 통한 Snapshot Period 자동 추출 로직 구현으로 날짜 컬럼 부재 문제 해결
  • 수치 데이터 부재 시 사용자 정의 Aggregation(Row Count 등) 선택 옵션을 제공하여 파이프라인 중단 방지
  • 데이터 퀄리티 패널 도입을 통해 Blank 값, Variant Cluster, Encoding Mojibake를 사전 식별하는 전처리 단계 추가
  • Column Mapping 과정을 Advanced 단계로 분리하여 일반 사용자의 업로드 Flow 단순화
  • CSS Selector 기반의 Scope Override를 적용하여 Collapsed 상태의 불필요한 Margin을 제거하고 Content Center 정렬 구현
  • Flex 컨테이너의 Direction 변경 시 잔존하는 수평 마진이 새로운 축으로 영향을 주는 렌더링 특성을 고려한 스타일 수정

1. 외부 데이터 Ingest 설계 시 스키마 강제보다 파일명 기반 추론 및 대체 Aggregation 전략을 우선 검토할 것

2. 데이터 적재 전 Variant Cluster 및 인코딩 오류를 탐지하는 Data Quality Layer를 구축하여 대시보드 오염을 방지할 것

3. Flex 레이아웃의 방향 전환이 일어나는 반응형 UI 설계 시, 기존 축의 Margin이 레이아웃을 왜곡하는지 확인할 것

원문 읽기