Vanya Cohen

新的MET-Bench基准揭示了视觉语言模型的局限性

研究人员推出了MET-Bench，一个旨在评估视觉语言模型在文本和图像模态中跟踪实体能力的新基准。研究发现，纯文本和多模态实体跟踪之间存在显著的性能差距，这主要归因于视觉推理缺陷而非感知问题。虽然明确的基于文本的推理策略有所改进，但长时域多模态任务仍然具有挑战性。将强化学习应用于开源VLM在模态内取得了进展，但未能有效地跨模态转移，这表明需要增强多模态表示和推理技术。