피드로 돌아가기
Dev.toInfrastructure
원문 읽기
Air-Gapped 환경 최적화 및 1,000장 이미지 7분 처리 Batch 시스템 구축
DEUTLI Extractor V2: Batch Processing, Air-Gapped Environments, and Portable Builds (Update)
AI 요약
Context
Node dependency의 취약성으로 인한 데이터 손실 문제와 클라이언트 사이드 파서의 한계 직면. 로컬 환경의 Python 의존성 충돌 및 보안 요구사항이 높은 폐쇄망 환경에서의 운용 제약 발생.
Technical Solution
- OS별 독립 실행 파일(Portable Binaries) 배포를 통한 Runtime 환경 의존성 완전 제거
- 네트워크 모듈을 배제한 Zero-Telemetry 설계를 통한 Air-Gapped 환경의 보안 무결성 확보
- 비동기 Batch Mode 도입을 통한 대규모 디렉토리 내 PNG 메타데이터의 효율적 병렬 처리
- 원본 파일 변경을 방지하는 Sidecar 파일 생성 전략으로 데이터 원본성 보존 및 DB 통합 용이성 증대
- ComfyUI Node Graph 및 Automatic1111 Text Matrix의 재귀적 탐색(Recursive Traversal) 로직 구현
- PWA 기반 캐싱 전략을 통한 웹 인터페이스의 오프라인 가용성 확보
Impact
- 표준 하드웨어 기준 2-3K 해상도 이미지 1,000장 파싱 및 Sidecar 파일 생성에 약 7분 소요
Key Takeaway
환경 의존성을 제거한 Portable Binary 배포와 Sidecar 패턴 적용을 통한 데이터 무결성 및 보안성 동시 확보 전략
실천 포인트
1. 폐쇄망 배포 시 Runtime 의존성을 제거한 컴파일드 바이너리 제공 검토
2. 원본 데이터 수정이 불가능한 환경에서 Sidecar 파일 패턴을 통한 메타데이터 관리 적용
3. 대량 파일 처리 시 UI 블로킹 방지를 위한 비동기 Batch 처리 로직 설계