VQA-Causal

视觉-语言模型在幻觉和因果推理方面存在困难

研究人员正在调查视觉-语言模型（VLM）的局限性，特别是它们产生幻觉和进行因果推理的困难。一项研究将视觉和文本嵌入之间的几何过度对齐确定为产生幻觉的根本原因，并提出了缓解这种偏差的方法。另一篇论文引入了新的基准测试 VQA-Causal 和 VCR-Causal，专门用于测试 VLM 中的因果顺序推理，揭示了显著的性能差距，并表明训练数据中缺乏明确的因果表述导致了这些不足。