Igor Shavlak

新基准显示 AI 代理难以检测和修复错误

一项名为 CUA-Recovery 的新基准测试，评估了 AI 代理在长时程计算机使用任务中检测和修复错误的能力。该基准测试发现，代理很少能从继承的错误中恢复，错误意识率最高为 44.0%，成功完成任务的比例最高为 25.5%。值得注意的是，代理在正确开始任务方面的技能并不能预测其注意到错误的能力，而识别错误并不能保证其得到修复。研究强调，大多数错误出现在过程的后期，并且通常与规划或感知决策有关。