비정형 멀티모달 데이터를 정형 구조로 변환하는 전처리 전용 Processing Layer 구축

Context

문서, 이미지, 오디오, 비디오 등 파편화된 비정형 데이터로 인한 AI 모델의 입력 품질 저하 문제 발생. 개별 포맷별 추출 파이프라인 구축에 따른 관리 복잡도 증가 및 데이터 정제 단계의 병목 현상 존재.

Technical Solution

• 비정형 멀티모달 데이터를 정형 출력물로 변환하여 하위 AI 워크플로우에 공급하는 전용 Processing Layer 설계
• S3 데이터 적재 후 Knowledge Bases 및 Vector Store 진입 전 단계에 배치하여 데이터 일관성 확보
• Project 설정을 통한 처리 구성의 컨테이너화 및 Async API 기반의 비동기 처리 구조 채택
• Blueprint 설정을 통해 도메인 특화 필드 추출 로직을 정의함으로써 비즈니스 요구사항에 맞는 Custom Output 생성
• Standard Output으로 빠른 가치 검증 후 Blueprint 기반의 Custom Output으로 전환하는 점진적 고도화 전략 적용
• Data Automation Library의 Custom Vocabulary 도입으로 도메인 전용 용어 인식률 개선