YOLO 재학습 없는 Zero-shot VLM 기반 객체 탐지 아키텍처 전환

Context

전통적인 YOLO 기반 탐지 모델의 Domain Shift 발생 시 데이터 수집 및 재학습으로 인한 Time-to-Market 지연 발생. 픽셀 그래디언트를 정수 클래스 ID로 매핑하는 고정식 분류 구조로 인한 유연성 부족이 주요 병목 지점으로 작용.

Technical Solution

• 자연어 기반 Semantic Prompt를 통해 객체 클래스를 정의하는 Zero-shot Detection 구조로 전환
• 데이터 프라이버시 요구사항에 따른 On-premise self-hosting 및 Managed API의 이원화 경로 설계
• Pydantic 기반의 Structured Outputs를 적용하여 VLM의 비정형 응답을 Type-safe한 JSON 좌표계로 규격화
• 추론 속도 제약을 극복하기 위해 VLM을 실시간 추론 엔진이 아닌 고효율 Auto-labeling 엔진으로 활용
• L4 GPU 환경에서 Phi-3.5-vision-instruct를 통한 Local VLM의 운영 비용 및 지연 시간 최적화
• 1,000x1,000 정규화 그리드 시스템을 도입하여 모델 간 좌표 출력 일관성 확보