Sliding Puzzles

新框架验证 LLM 在滑动拼图中的规划限制

研究人员开发了一个新框架，用于定量评估大型语言模型（LLM）在没有外部工具或反馈辅助时的内在规划能力。该框架名为 SPE（Success-Weighted Plan Efficiency，成功加权规划效率），将规划成功分解为执行可靠性、合法规划之间的协调以及行动经济性。通过评估 LLM 在滑动拼图上的数千次输出，研究发现，即使是能够完成所有试验的模型，在更长的规划视野下经济性也会降低，并且高效率的已完成规划可以与糟糕的整体目标达成并存…