PulseAugur
实时 18:14:44

新的“Starve to Perceive”方法训练视觉语言模型主动观察

研究人员引入了一种名为“Starve to Perceive”的新训练范式,以解决视觉语言模型(VLMs)中的“懒惰感知”问题。当VLMs能够利用粗略的视觉输入和语言先验知识获得中等准确率时,就会出现这种现象,导致它们避免学习主动感知策略,如缩放或裁剪。“Starve to Perceive”方法限制了模型可用的视觉带宽,迫使其通过进行多次观察来完成任务,从而进行主动感知。这种方法无需架构更改或辅助损失,在各种基准测试中平均相对提高了5%,取得了显著的收益。 AI

影响 该方法可以提高VLMs在需要动态视觉理解的实际应用中的效率和有效性。

排序理由 该集群包含一篇详细介绍训练AI模型新方法的学术论文。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的“Starve to Perceive”方法训练视觉语言模型主动观察

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Yuhuan Wu, Cong Wei, Fangzhen Lin, Wenhu Chen, Haozhe Wang ·

    Starve to Perceive: Taming Lazy Perception in VLMs with Constrained Visual Bandwidth

    arXiv:2605.18603v2 Announce Type: replace Abstract: Vision-Language Models (VLMs) deployed as situated agents in high-resolution visual environments require active perception -- the ability to dynamically decide where to look through operations like zooming, cropping, and panning…