cua_reliability

新研究提出提高AI代理可靠性的方法

arXiv上的一篇新论文介绍了一种方法，通过关注AI代理停止的能力而非仅仅是启动动作，来提高其在计算机任务中的可靠性。研究人员为35B代理开发了一个验证器引导的修复过程，涵盖五个环境，结果显示评估方差可忽略不计，训练种子效应很小。研究发现，成功率主要受数据抽取和运行间非确定性的影响，在更难的任务中双峰分布表明存在显著的故障模式可能性。该论文还提出了一个名为`cua_reliability`的库，用于报告跨多个种子的结果，以确保更稳健的评估。