一项新的研究论文介绍了一种名为 EICS 的指标,该指标旨在评估视觉语言模型(VLMs)中概念编码的稳定性。该研究还提出了 CASP-VL,一个利用从场景图中派生的受控空间扰动的基准。研究结果表明,即使在组合任务上表现良好,VLMs 对空间关系的表征也不如词汇信息忠实。这表明输入中存在的关联信息在模型的聚合下游表征中丢失了。 AI
影响 突出了 VLM 空间推理中的一个关键缺陷,可能影响多模态 AI 应用。
排序理由 学术论文,详细介绍了一种用于评估 VLM 的新指标和基准。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →