CT-OPSD

新的CST-Bench基准测试通过逆事实挑战AI空间推理能力

研究人员推出了CST-Bench，一个旨在评估多模态大语言模型（MLLMs）逆事实空间推理能力的新基准测试。该基准测试包含超过7000个带有详细因果标注的示例，用于评估模型如何处理因干预而改变的场景状态。初步测试显示，在标准空间推理方面表现良好的模型在这些逆事实场景中遇到了困难。研究人员还提出了CT-OPSD，一种利用CST-Bench的标注来训练一个关于因果状态转移的教师模型，然后将其蒸馏到学生模型中的方法。