Docker 기반 Self-Hosted 아키텍처로 데이터 주권 확보 및 일 5만 페이지 처리 구현

Context

Cloud-based AI 서비스의 데이터 외부 유출 위험으로 인한 HIPAA, GDPR 등 규제 준수 불가 문제 직면. 기존 On-premise 솔루션의 높은 비용 장벽과 단순 OCR 도구의 낮은 기능성 사이의 기술적 공백 존재.

Technical Solution

• MinIO를 통한 S3-compatible Object Storage 구축으로 로컬 환경 내 원본 문서 저장소 확보
• IBM Docling 및 Marker 기반의 Local OCR 엔진 도입을 통한 외부 API 의존성 제거
• Transformer-based 모델의 로컬 추론 구조 설계를 통한 데이터 외부 전송 없는 문서 분류 및 필드 추출 구현
• Qdrant Vector DB와 PostgreSQL 16의 결합을 통한 Semantic Search 및 정형 메타데이터 관리 체계 구축
• Redis 기반의 Background Job Queueing 설계를 통한 대량 문서 처리의 비동기 제어 및 부하 분산
• Docker Compose 기반의 단일 스택 패키징으로 인프라 프로비저닝 시간 30-60분 내 단축