Salesforce Research가 Q-Former를 도입해 동결된 비전 인코더와 LLM을 연결함으로써 멀티모달 사전학습 비용을 대폭 감소시킨 BLIP-2 모델 개발

Context

비전과 언어 모델의 사전학습 비용이 급증하고 있으며, 양쪽 모달리티를 모두 효율적으로 통합하는 것이 기술적 병목이다. 기존 end-to-end 멀티모달 사전학습 방식은 전체 아키텍처를 함께 학습해야 하므로 리소스 소비가 매우 크다.

Technical Solution

• Q-Former 아키텍처 도입: 동결된 ViT 비전 인코더와 동결된 LLM(OPT, Flan T5) 사이에 가벼운 Querying Transformer를 삽입하여 모달리티 간 정보 전달 처리
• 선택적 학습 전략: Q-Former만 학습 가능하게 유지하고 비전 인코더와 언어 모델은 동결하여 학습 파라미터 수 감소
• 2단계 사전학습 방식: 첫 단계에서 이미지-텍스트 대조 손실, 이미지 기반 텍스트 생성, 이미지-텍스트 매칭 손실을 적용하고, 두 번째 단계에서 시각 정보를 LLM의 입력 프리픽스로 사용
• 모듈식 조합 지원: 임의의 비전 백본과 임의의 LLM을 조합할 수 있도록 설계하여 향후 각 분야의 최신 모델 활용 가능
• 제로샷 멀티태스크 지원: 이미지 캡셔닝, 비주얼 질답, 채팅 기반 프롬핑 등 여러 이미지-텍스트 작업을 동일한 모델로 수행

Key Takeaway

동결된 사전학습 모델 간의 연결 계층을 최소한으로 유지하는 설계 원칙을 통해 멀티모달 통합의 계산 비용을 극적으로 줄일 수 있으며, 이는 개별 모달리티의 최신 모델 발전을 독립적으로 활용하는 확장성을 제공한다.