实体 DMAIC-Bench

DMAIC-Bench

PulseAugur coverage of DMAIC-Bench — every cluster mentioning DMAIC-Bench across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_321713 · Oct 26 · 04:00

新基准测试AI代理在多阶段任务中的自我约束能力

研究人员推出了DMAIC-Bench，这是一个旨在评估AI代理在多阶段分析任务中自我约束能力的新基准。与以往侧重于任务完成或输出质量的基准不同，DMAIC-Bench专门测试代理利用中间证据来决定是继续、重定向还是停止的能力。该基准包含跨越15个工业案例和生命科学应用的97个种子任务，并使用配对的反事实变体来区分合理的约束和无差别的停止。对13个模型的初步评估显示，“GO”决策的平均路由准确率为92%，“NO-GO”决策的准确率仅为1…