研究人员正在调查视觉-语言模型（VLM）的局限性，特别是它们产生幻觉和进行因果推理的困难。一项研究将视觉和文本嵌入之间的几何过度对齐确定为产生幻觉的根本原因，并提出了缓解这种偏差的方法。另一篇论文引入了新的基准测试 VQA-Causal 和 VCR-Causal，专门用于测试 VLM 中的因果顺序推理，揭示了显著的性能差距，并表明训练数据中缺乏明确的因果表述导致了这些不足。 AI
影响 强调了 VLM 需要改进的关键领域，重点是减少幻觉和增强因果推理能力。
排序理由 两篇 arXiv 论文详细介绍了对视觉-语言模型的局限性和潜在改进的研究。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.08245v4 Announce Type: replace-cross Abstract: Vision-Language Models (VLMs) increasingly power high-stakes applications, from medical imaging to autonomous systems, yet they routinely hallucinate, confidently describing content not present in the input. We investigate…
arXiv:2506.00869v3 Announce Type: replace Abstract: Despite the impressive performance of vision-language models (VLMs) on downstream tasks, their ability to understand and reason about causal relationships in visual inputs remains unclear. Robust causal reasoning is fundamental …