研究人员开发了 MoST,一个旨在评估视觉语言模型 (VLM) 模态敏感性的新型测试框架。MoST 采用基于搜索的方法来组合图像和文本扰动,揭示某些 VLM 对文本变化的敏感度更高,而另一些则在两种模态上都容易受到影响。该框架的发现表明,联合扰动比具有较小个体修改的单模态扰动更有效,并且人类评估表明,尽管扰动后的输入仍然可以理解,但在对象定位等任务上 VLM 的准确性仍落后于人类。 AI
影响 这项研究强调了一种更细致的 VLM 鲁棒性测试方法,有望带来更可靠、更安全的 AI 系统。
排序理由 该集群包含一篇详细介绍视觉语言模型新测试框架的研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →