研究人员开发了一种名为VETO的新技术,以解决视频大语言模型(VideoLLMs)中的捷径学习问题。该方法抑制了VideoLLMs依赖训练数据中文本规律的倾向,这种捷径绕过了对视频的实际理解。VETO通过将监督微调更新投影到仅文本激活子空间的正交补集上,确保模型将其答案基于完整的视频输入。 AI
影响 通过防止视频理解模型利用肤浅的文本模式,该方法可以提高其可靠性和泛化能力。
排序理由 该集群包含一篇详细介绍改进VideoLLMs新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- supervised fine-tuning
- VETO
- Video-Evidence Training via Orthogonal projection
- VideoLLM
- VideoLLMs
- Youngwoo-git
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →