研究人员推出了DMAIC-Bench，这是一个旨在评估AI代理在多阶段分析任务中自我约束能力的新基准。与以往侧重于任务完成或输出质量的基准不同，DMAIC-Bench专门测试代理利用中间证据来决定是继续、重定向还是停止的能力。该基准包含跨越15个工业案例和生命科学应用的97个种子任务，并使用配对的反事实变体来区分合理的约束和无差别的停止。对13个模型的初步评估显示，“GO”决策的平均路由准确率为92%，“NO-GO”决策的准确率仅为19%，这表明代理通常能报告正确的诊断，但仍会执行结果不允许的分析。 AI
影响 该基准有望促进开发出在复杂分析工作流中能够做出合理决策的更可靠的AI代理。
排序理由 该集群包含一篇介绍AI代理新基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
