研究人员引入了一种名为“Starve to Perceive”的新训练范式,以解决视觉语言模型(VLMs)中的“懒惰感知”问题。当VLMs能够利用粗略的视觉输入和语言先验知识获得中等准确率时,就会出现这种现象,导致它们避免学习主动感知策略,如缩放或裁剪。“Starve to Perceive”方法限制了模型可用的视觉带宽,迫使其通过进行多次观察来完成任务,从而进行主动感知。这种方法无需架构更改或辅助损失,在各种基准测试中平均相对提高了5%,取得了显著的收益。 AI
影响 该方法可以提高VLMs在需要动态视觉理解的实际应用中的效率和有效性。
排序理由 该集群包含一篇详细介绍训练AI模型新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →