研究人员推出了 GraceBench,一个旨在评估 GUI 代理执行稳定性的新评估框架。与以往只关注最终任务成功的基准测试不同,GraceBench 利用 UI 转换图 (UTGs) 来分析步骤级别的交互轨迹。这种方法有助于识别诸如偏差、循环和恢复能力等问题,即使代理最终完成了任务。对 GPT-5.6 Sol 的初步测试显示,尽管其成功率很高,但恢复能力却显著较低,表明在其大多数成功运行中存在显著的执行不稳定性。 AI
影响 这一新基准有望推动 GUI 代理在可靠性和稳定性方面的改进,这对于它们在任务自动化中的实际部署至关重要。
排序理由 该集群描述了一篇介绍用于评估 AI 代理的新型基准测试的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →