ClosureBench

新基准测试 AI 的组合图推理能力，揭示其记忆问题

研究人员推出了 ClosureBench，这是一个旨在评估 AI 模型组合图推理能力的新基准。与传统基准不同，ClosureBench 按需生成任务，并提供程序验证的答案，从而防止数据污染并直接衡量记忆能力。评估显示，随着图大小和查询深度的增加，模型的准确性会下降，并且模型即使在给定结构化图输入的情况下，在处理组合查询时也会遇到困难。值得注意的是，一个经过微调以生成可执行程序的较小模型，以更低的成本实现了与前沿模型相当的性能。