SpatialUncertain

视觉语言模型（VLMs）未能识别空间推理何时不可能

一项新的研究论文引入了SpatialUncertain框架，用于评估视觉语言模型（VLMs）在因遮挡或误导性视角而无法回答空间问题时的识别能力。研究发现，当前前沿的VLMs容易过度自信，在遮挡情况下错误率约为70%，在视角模糊情况下错误率超过90%。此外，许多模型难以确定需要哪些额外的视角来解决此类歧义，这凸显了在超越单纯的答案正确性之外，评估VLM的不确定性和寻求证据的能力的必要性。