PulseAugur
中
实时 08:41:59
实体 CHI-Bench

CHI-Bench

PulseAugur coverage of CHI-Bench — every cluster mentioning CHI-Bench across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_273391 ·

    新的CHI-Bench基准揭示AI代理难以处理复杂的医疗工作流程

    一个名为CHI-Bench的新基准已被开发出来,用于评估AI代理自动化复杂、长周期的医疗工作流程的能力。这些工作流程的特点是策略密集、多角色组合和多边交互,这使得它们对当前的AI能力构成挑战。在测试中,即使是最先进的代理也只能成功完成一小部分任务,这凸显了AI在处理这种复杂、真实的企业领域方面的能力存在重大差距。

  2. RESEARCH · CL_243001 ·

    新的GAMPO框架表明,AI代理治理的益处取决于模型的容量

    研究人员开发了受管自的(Autotelic)多代理产品组织(GAMPO)框架,该框架是用于设计和评估追求在定义好的护栏内自我生成目标的AI代理组织的一种规范。该框架的有效性在CHI-Bench医疗基准上进行了测试,结果表明治理的益处取决于模型的可用容量和特定领域。对于容量受限的开放模型,简单的“验证你的写入”指令使任务成功率翻倍;而对于前沿模型,量身定制的“完成定义”显著提高了诸如事先授权等特定任务的性能,优于通用程序。