MindTopo

新的MindTopo基准揭示基础模型在拓扑推理方面存在困难

一个新的名为MindTopo的基准已被开发出来，用于评估基础模型的拓扑推理能力，这是空间理解的一个关键方面，在当前的评估中在很大程度上被忽视了。该基准包含11,000多个跨不同任务类型的实例，评估模型在不同认知水平上的连续性、分离性和封闭性等属性。初步测试显示，虽然模型能够识别拓扑关系，但在这些拓扑空间内进行规划或操作方面存在显著困难，表明识别能力和操作能力之间存在差距。