研究人员推出EVIDENT，一个旨在提高多模态大模型（MLLM）在视频时序定位任务中性能的新框架，尤其是在面对领域迁移时。EVIDENT通过显式的视觉实体证据进行适配，将时序定位锚定在MLLM固有的实体注意力能力上。该框架包含一个实体瓶颈适配器、一个实体绑定蒸馏损失和一个实体到证据的门控机制，以确保微调依赖于实体关联的证据，而非脆弱的数据集捷径。实验表明，EVIDENT在保持具有竞争力的领域内性能的同时，通过最小的参数开销提高了跨领域鲁棒性，表明实体级定位是可泛化时序定位的有效归纳偏置。 AI
影响 EVIDENT的实体关联视觉证据方法可以提高MLLM在视频分析任务中的泛化能力。
排序理由 该集群包含一篇详细介绍MLLM新框架的研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.26104v1 Announce Type: new Abstract: Fine-tuning MLLMs for Video Temporal Grounding (VTG) often improves in-domain performance but degrades sharply under domain shift. In this work, we find that this failure is primarily driven not just by unseen query concepts, but by…
Fine-tuning MLLMs for Video Temporal Grounding (VTG) often improves in-domain performance but degrades sharply under domain shift. In this work, we find that this failure is primarily driven not just by unseen query concepts, but by visual domain shift, which prevents the model f…