피드로 돌아가기
DEUTLI Extractor V2: Batch Processing, Air-Gapped Environments, and Portable Builds (Update)
Dev.toDev.to
Infrastructure

Air-Gapped 환경 최적화 및 1,000장 이미지 7분 처리 Batch 시스템 구축

DEUTLI Extractor V2: Batch Processing, Air-Gapped Environments, and Portable Builds (Update)

Yuriy Sydorenko Foutnder | deut.li2026년 4월 13일2intermediate

Context

Node dependency의 취약성으로 인한 데이터 손실 문제와 클라이언트 사이드 파서의 한계 직면. 로컬 환경의 Python 의존성 충돌 및 보안 요구사항이 높은 폐쇄망 환경에서의 운용 제약 발생.

Technical Solution

  • OS별 독립 실행 파일(Portable Binaries) 배포를 통한 Runtime 환경 의존성 완전 제거
  • 네트워크 모듈을 배제한 Zero-Telemetry 설계를 통한 Air-Gapped 환경의 보안 무결성 확보
  • 비동기 Batch Mode 도입을 통한 대규모 디렉토리 내 PNG 메타데이터의 효율적 병렬 처리
  • 원본 파일 변경을 방지하는 Sidecar 파일 생성 전략으로 데이터 원본성 보존 및 DB 통합 용이성 증대
  • ComfyUI Node Graph 및 Automatic1111 Text Matrix의 재귀적 탐색(Recursive Traversal) 로직 구현
  • PWA 기반 캐싱 전략을 통한 웹 인터페이스의 오프라인 가용성 확보

Impact

  • 표준 하드웨어 기준 2-3K 해상도 이미지 1,000장 파싱 및 Sidecar 파일 생성에 약 7분 소요

Key Takeaway

환경 의존성을 제거한 Portable Binary 배포와 Sidecar 패턴 적용을 통한 데이터 무결성 및 보안성 동시 확보 전략


1. 폐쇄망 배포 시 Runtime 의존성을 제거한 컴파일드 바이너리 제공 검토

2. 원본 데이터 수정이 불가능한 환경에서 Sidecar 파일 패턴을 통한 메타데이터 관리 적용

3. 대량 파일 처리 시 UI 블로킹 방지를 위한 비동기 Batch 처리 로직 설계

원문 읽기