Streaming-based CPT Importer 설계를 통한 DB Bloat 제거 및 처리 속도 최적화

Context

대규모 데이터 임포트를 위해 무거운 범용 플러그인을 사용할 때 발생하는 과도한 DB Bloat와 UI 오버헤드 문제 분석. 특히 저사양 호스팅 환경에서 대용량 파일 로드 시 발생하는 Memory Timeout 제약 사항 해결 필요.

Technical Solution

• fopen 및 fgetcsv를 활용한 Line-by-line 스트리밍 읽기로 메모리 점유율 최소화
• _wmd_property_ref 기반의 Unique Meta Key 검증을 통한 Idempotency 보장 및 데이터 중복 방지
• wp_insert_post와 update_post_meta를 직접 호출하는 Native Script 설계로 플러그인 중간 계층 제거
• admin_init 훅 기반의 권한 검증 로직을 적용한 보안 트리거 구조 설계
• HTTP Execution Timeout 극복을 위한 WP-CLI 커맨드 전환 가능 구조 채택

Key Takeaway

범용 도구의 편의성보다 시스템 경량화를 우선시하는 'No-Template' 철학을 통해 불필요한 DB Write를 줄이고 실행 효율을 극대화하는 설계 원칙.