MindTopo

新基准MindTopo测试基础模型在拓扑推理方面的能力

研究人员推出了MindTopo，这是一个旨在评估基础模型拓扑推理能力的新基准。该基准在两个认知层面（推理和规划）上评估了五个关键的拓扑属性——连续性、分离性、顺序性、封闭性和连通性。在评估的14个模型中，模型在推理任务上的表现始终优于规划任务，即使是最好的模型也未能达到人类水平。微调和强化学习在推理方面有所改进，但在规划方面没有，并且虽然生成的观测保留了局部线索，但智能体在转换过程中并未可靠地保留拓扑结构。