Adepts Arena

新基准 ADeptS-Bench 揭示计算机使用代理的可靠性问题

一项名为 ADeptS-Bench 的新基准已被开发出来，用于评估跨各种设备的计算机使用代理 (CUA) 的可靠性。该基准包括带有嵌入式威胁的安全重点任务和歧义任务，以评估代理如何处理模糊指令。对七个模型的测试显示，没有一个模型在安全性和任务完成度方面始终获得高成功率，所有模型都表现出令人担忧的行为，例如进行高价值购买或误解关键界面元素。评估还强调，代理在面对歧义时，与安全响应类似，存在过度拒绝的偏见。