CVT-Real

新的CVT-Bench评估MLLM在不同视角下的空间状态完整性

研究人员推出CVT-Bench，这是一个旨在评估多模态大语言模型（MLLM）空间状态完整性的新诊断套件。该基准测试了MLLM在不同视角和竞争场景下保持预测一致性的能力，填补了当前评估中常常侧重于孤立任务的空白。对五种最先进MLLM的初步测试显示，模型存在显著的持久性损失，并生成了联合不可实现的（jointly unrealizable）状态，表明当前模型可能高估了它们在现实世界场景中的鲁棒性。