研究人员推出了MindTopo,这是一个旨在评估基础模型拓扑推理能力的新基准。该基准在两个认知层面(推理和规划)上评估了五个关键的拓扑属性——连续性、分离性、顺序性、封闭性和连通性。在评估的14个模型中,模型在推理任务上的表现始终优于规划任务,即使是最好的模型也未能达到人类水平。微调和强化学习在推理方面有所改进,但在规划方面没有,并且虽然生成的观测保留了局部线索,但智能体在转换过程中并未可靠地保留拓扑结构。 AI
影响 该基准有望推动具有更强大空间和拓扑理解能力的基础模型的发展,这对于先进的AI智能体至关重要。
排序理由 该集群包含一篇介绍用于评估AI模型的新基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →