研究人员开发了一个新框架，用于定量评估大型语言模型（LLM）在没有外部工具或反馈辅助时的内在规划能力。该框架名为 SPE（Success-Weighted Plan Efficiency，成功加权规划效率），将规划成功分解为执行可靠性、合法规划之间的协调以及行动经济性。通过评估 LLM 在滑动拼图上的数千次输出，研究发现，即使是能够完成所有试验的模型，在更长的规划视野下经济性也会降低，并且高效率的已完成规划可以与糟糕的整体目标达成并存。该方法提供了一种可验证的方式来衡量未经辅助的 LLM 规划的局限性。 AI
影响 提供了一种可验证的方法来量化 LLM 的内在规划局限性，这对于开发更强大的 AI 代理至关重要。
排序理由 学术论文，详细介绍了新框架和对 LLM 能力的评估。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
