PulseAugur
中
实时 17:42:50
实体 ClosureBench

ClosureBench

PulseAugur coverage of ClosureBench — every cluster mentioning ClosureBench across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_301197 ·

    新的 SCOPE 框架指导 AI 代理进行科学猜想发现

    研究人员推出 SCOPE 框架,该框架旨在通过关注底层科学猜想的测试和完善来推进科学发现,而不是仅仅优化方程。SCOPE 促进多个科学家代理通过方程建模、实验和证据交换独立追求猜想,从而修正假设和研究方向。为了评估这一过程,开发了一个名为 ClosureBench 的新基准,该基准包含五个科学领域的 60 个闭包发现任务。ClosureBench 利用 OpenFOAM 的实验数据,不仅评估方程的准确性,还评估证据的忠实度、机制洞察和…

  2. TOOL · CL_210526 ·

    新基准测试 AI 的组合图推理能力,揭示其记忆问题

    研究人员推出了 ClosureBench,这是一个旨在评估 AI 模型组合图推理能力的新基准。与传统基准不同,ClosureBench 按需生成任务,并提供程序验证的答案,从而防止数据污染并直接衡量记忆能力。评估显示,随着图大小和查询深度的增加,模型的准确性会下降,并且模型即使在给定结构化图输入的情况下,在处理组合查询时也会遇到困难。值得注意的是,一个经过微调以生成可执行程序的较小模型,以更低的成本实现了与前沿模型相当的性能。