PulseAugur
中
实时 06:39:19
实体 AutoDataBench

AutoDataBench

PulseAugur coverage of AutoDataBench — every cluster mentioning AutoDataBench across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. RESEARCH · CL_315183 ·

    FrontierCS 2 基准测试评估大型语言模型代理的计算机科学研发任务能力

    一项名为 FrontierCS 2 的新基准测试已被推出,用于评估大型语言模型代理在推动前沿计算机科学研究方面的能力。该基准测试包含 13 个领域中的 48 个开放式任务,代理在一个研究环境中进行测试,并可以提交代码补丁以供评估。表现最佳的代理 Claude Opus 5.5 在 58% 的运行中通过了测试,这表明即使是先进的代理在许多复杂的研发任务中也面临挑战。

  2. RESEARCH · CL_273431 ·

    新的AutoDataBench测试平台分离了AI代理的数据智能

    研究人员推出AutoDataBench,一个新的测试平台,旨在分离和评估AI代理中的“数据智能”。该框架旨在将数据改进的影响与训练框架或超参数等其他因素的影响区分开来,而这些因素通常会使现有基准复杂化。AutoDataBench专注于代理通过数据诊断、组织和构建任务来理解、操作和增强其自身训练数据的能力。该系统还研究代理是否可以通过迭代反馈来预测其数据干预的影响并提高其理解能力,研究结果表明,重复使用这些研究轨迹可以提高下游编码性能。