Kean Shi

新基准揭示AI代理难以处理真实的SaaS任务

研究人员推出了SaaS-Bench，这是一个旨在评估计算机使用代理（CUA）在现实专业工作流程中的新基准。该基准跨越六个领域，使用了23个软件即服务（SaaS）系统，包含106项需要长周期执行的任务，这些任务可以是纯文本或多模态的。初步实验显示，目前基于LLM的代理表现不佳，端到端完成的任务不到4%，这凸显了在规划、状态跟踪和跨应用程序上下文维护方面存在的重大局限性。