Noise-resilient RAG 구조를 통한 VLM의 외부 지식 추론 안정성 확보
📄Paper: RORA-VLM: Robust Retrieval Augmentation for Vision Language Models
연구팀이 LLM 기반 평가 메트릭(LAVE)을 도입해 Out-of-Distribution VQA 환경에서 의미론적으로 정확한 답변을 기존 문자열 매칭 메트릭보다 정확하게 평가
LAVE: Zero-shot VQA Evaluation on Docmatix with LLMs - Do We Still Need Fine-Tuning?
Microsoft의 Florence-2 비전-언어 모델을 DocVQA 데이터셋으로 파인튜닝해 VQA 성능을 0에서 57.0의 Levenshtein 유사도로 개선
Fine-tuning Florence-2 - Microsoft's Cutting-edge Vision Language Models