Pandas ETL과 Idempotency 기반의 Legacy Excel-to-PostgreSQL 그래프 마이그레이션

Context

레거시 ERP에서 추출한 BOM 데이터의 심각한 Structural Entropy로 인한 Referential Integrity 실패 발생. 비표준화된 명칭, 공백, 데이터 타입 혼재로 인해 평면 구조의 데이터를 관계형 데이터베이스로 직접 적재하는 것이 불가능한 상황.

Technical Solution

• Pandas 기반의 전처리 레이어를 도입하여 .str.strip(), .str.upper(), .fillna()를 통한 데이터 표준화 강제
• BOM의 계층적 Tree 구조를 구현하기 위해 단일 DataFrame을 Final Product $\rightarrow$ Subassembly $\rightarrow$ Base Component 순의 2단계 논리적 그룹 벡터로 분리 설계
• 데이터 중복 및 그래프 엣지 오염 방지를 위해 PostgreSQL UNIQUE Key 기반의 upsert() 함수를 적용한 Ingestion Idempotency 확보
• Supabase SDK를 통한 정밀한 CHECK 제약 조건 준수로 관계형 그래프의 무결성 보장
• 데이터 정제 후 정형화된 노드 값을 PostgreSQL로 주입하여 AI Agentic Workflow(LangChain/CrewAI)를 위한 안정적인 데이터 기초 체계 구축