研究人员推出了 ClosureBench，这是一个旨在评估 AI 模型组合图推理能力的新基准。与传统基准不同，ClosureBench 按需生成任务，并提供程序验证的答案，从而防止数据污染并直接衡量记忆能力。评估显示，随着图大小和查询深度的增加，模型的准确性会下降，并且模型即使在给定结构化图输入的情况下，在处理组合查询时也会遇到困难。值得注意的是，一个经过微调以生成可执行程序的较小模型，以更低的成本实现了与前沿模型相当的性能。 AI
影响 凸显了当前大型语言模型在复杂推理方面的局限性，并提出程序合成作为一种更有效的方法。
排序理由 该集群包含一篇介绍 AI 模型评估新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
