实体
NaturalBench
NaturalBench
PulseAugur coverage of NaturalBench — every cluster mentioning NaturalBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
视觉语言模型：提示回声解决“先问后看”悖论
研究人员识别并解决了视觉语言模型（VLM）中的“先问后看”悖论，即问题置于图像之前通常会导致性能下降。该悖论的产生是因为虽然问题最初会引导模型感知到相关概念，但在过程后期，答案标记对它的关注度却很低。该解决方案被称为“提示回声”，它通过在提示的开头和结尾重复提问，确保问题既能影响感知，又能用于生成答案。这种受人类理解策略启发的、无需训练的方法显著提高了在NaturalBench和Winoground等基准测试上的性能。
-
新度量可在无标注情况下评估多模态大语言模型的逻辑一致性
研究人员引入了一种新度量 VL-LCM，可在无需真实标注的情况下评估多模态大语言模型（MLLMs）的逻辑一致性。该度量使用 MMMU 和 NaturalBench 等现有基准，评估 MLLMs 在视觉-语言任务上的因果推理能力。对 11 个开源 MLLMs 的实验表明，尽管准确性有所提高，但逻辑一致性仍然是一个重大挑战，这表明 VL-LCM 可用于辅助模型选择和新任务验证。
-
新的潜在去噪方法增强了大型多模态模型中的视觉对齐
研究人员开发了一种新的潜在去噪框架，以增强大型多模态模型（LMM）中的视觉对齐。该方法通过破坏然后去噪投影的视觉令牌来引入一种视觉监督形式，迫使模型从中间层恢复干净的特征。该方法在各种基准测试中提高了视觉理解和推理能力，包括组合鲁棒性，并且在常见的图像损坏下表现出更少的性能下降，而不会增加推理开销。