研究人员推出了CST-Bench,一个旨在评估多模态大语言模型(MLLMs)逆事实空间推理能力的新基准测试。该基准测试包含超过7000个带有详细因果标注的示例,用于评估模型如何处理因干预而改变的场景状态。初步测试显示,在标准空间推理方面表现良好的模型在这些逆事实场景中遇到了困难。研究人员还提出了CT-OPSD,一种利用CST-Bench的标注来训练一个关于因果状态转移的教师模型,然后将其蒸馏到学生模型中的方法。 AI
影响 该基准测试有望推动AI在理解和推理动态环境方面的能力提升,这对于机器人技术和交互式AI至关重要。
排序理由 该集群包含一篇详细介绍AI新基准测试和方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- Connected Papers
- CST-Bench
- CT-OPSD
- DagsHub
- Gotit.pub
- Hugging Face
- Litmaps
- ScienceCast
- Scite
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →