研究发现大型语言模型规划能力分为两种不同的能力

一篇新的研究论文提出，大型语言模型（LLMs）在规划任务上的表现差异，并非完全归因于任务难度，而是反映了两种不同的潜在规划能力。该研究在ACPBench-Hard数据集上进行，确定了这两种能力为“操作推理”和“结构枚举”。操作推理涉及评估局部动作和状态转换，随着模型规模的扩大和推理预算的增加而提高。相比之下，与目标可达性和里程碑推理相关的结构枚举，对这些因素的敏感度较低。研究结果表明，需要对大型语言模型的规划能力进行能力层面的评估，以更好地理解在何种条件下哪些具体技能正在提高。 AI

影响 建议在评估大型语言模型的规划能力时，应侧重于具体能力而非整体任务表现。

排序理由 分析大型语言模型能力的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• ACPBench-Hard
• alphaXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• LLM
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →