YOLOv8과 CLIP 기반의 Multi-modal 파이프라인을 통한 의약품 식별 자동화

Context

의약품 패키지의 작은 폰트와 다양한 조명 환경으로 인해 단일 모델 기반의 분류 시스템에서 인식률 저하 발생. 특히 OCR의 오타 발생 가능성과 이미지 기반 분류의 모호성을 동시에 해결해야 하는 기술적 제약 존재.

Technical Solution

• YOLOv8 기반의 객체 탐지로 이미지 내 의약품 박스 영역을 정밀하게 Crop 하여 분석 대상 국소화
• Tesseract OCR을 통한 텍스트 추출과 CLIP의 Visual Embedding을 병렬적으로 처리하는 Detect-Extract-Embed 워크플로우 설계
• OCR의 텍스트 오인식 가능성을 CLIP의 시맨틱 이미지-텍스트 매칭 벡터 공간으로 보완하여 식별 정확도 향상
• SQLite를 활용하여 추출된 텍스트 정보와 벡터 임베딩 결과의 교차 검증을 통한 최종 약품 정보 매핑
• 정밀도 향상을 위해 일반 YOLO 모델을 Open Images Dataset의 Medical Packaging 클래스로 Fine-tuning 하는 전략 채택