实体
agentic benchmarks
agentic benchmarks
PulseAugur coverage of agentic benchmarks — every cluster mentioning agentic benchmarks across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的Kolab数据集对AI代理协作质量进行基准测试
一个名为Kolab的新数据集已被发布,用于在长周期专业工作流中对人机协作进行基准测试。该数据集包含来自50名专业人士、跨越40种职业的115小时以上的屏幕录像,揭示了当前前沿AI代理高估了它们的协作质量,并且难以预测专家将如何利用它们的贡献。与侧重于自动化的现有基准测试不同,Kolab强调了持续互动的重要性以及代理预测专家对其输出的采纳或拒绝的能力。
-
新方法无需模拟即可预测AI任务难度
研究人员开发了一种无需运行计算成本高昂的模拟即可预测AI任务难度的方法。该方法分析任务描述以预测成功可能性,有助于校准评估基准和创建渐进式训练课程。该研究探索了17个不同的代理基准,强调了token级熵作为关键预测信号,并展示了预测误差如何揭示环境设计中的缺陷。