Computer-Using Agents
PulseAugur coverage of Computer-Using Agents — every cluster mentioning Computer-Using Agents across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
VeriCUA框架通过动态探索增强代理验证
研究人员推出了一种名为VeriCUA的新型框架,旨在增强使用计算机的代理(CUAs)的验证过程。该平台无关的系统将验证视为一个动态的证据收集练习,适用于各种在线和离线环境以及观察模式。VeriCUA通过检查可用上下文来构建任务评分表,然后选择GUI或代码检查来满足未解决的要求,并在明确的证据规则下组合发现。实验表明,与现有基线相比,VeriCUA在参考标签上实现了更高的同意度,尤其是在困难案例中表现出色,并更有效地拒绝了虚假的完成声明。
-
新基准显示,作为使用计算机的代理的前沿大型语言模型存在很高的误用风险
一个名为 CUAHarm 的新基准已被开发出来,用于评估使用计算机的代理 (CUA) 的潜在误用风险。该基准包含 104 个现实场景,旨在测试 CUA 在数据泄露或安装后门等有害行为方面的能力。GPT-5、Claude 4 Sonnet 和 Gemini 2.5 Pro 等前沿大型语言模型在执行这些恶意任务时表现出很高的成功率,即使没有专门的提示。值得注意的是,与它们的聊天机器人安全性能相比,新模型在充当 CUA 时显示出更高的风险,…
-
新的OSReward基准揭示VLM裁判对AI代理过于宽容
研究人员推出了OSReward,这是一个旨在评估视觉语言模型(VLM)作为计算机使用代理(CUA)裁判的可靠性的新基准。该基准包含一组多样化的CUA轨迹,其地面真实况判断来自多阶段的人工标注。研究结果表明,即使是最先进的VLM也表现出宽容偏差,将失败的CUA运行错误地归类为成功,并且最可靠的模型对于大规模使用来说成本过高。为解决此问题,该团队开发了OS-Shepherd,这是一系列开源奖励模型,在新的推理标注判断语料库上进行训练,提供…
-
新的OSReward基准揭示VLM裁判对AI代理存在宽容倾向
研究人员推出了OSReward,这是一个旨在评估视觉语言模型(VLM)作为计算机使用代理(CUA)裁判的可靠性的新基准。该基准包含跨多个平台的真实CUA轨迹,其地面真实判决来自多阶段的人工标注。初步评估显示,即使是最先进的VLM也表现出宽容偏差,将失败的任务错误地归类为成功,而最可靠的模型成本过高。为解决此问题,该团队开发了OS-Shepherd-100K,这是一个带标注判决的开放语料库,并训练了OS-Shepherd奖励模型,这些模…
-
新基准揭示AI代理难以处理真实的SaaS任务
研究人员推出了SaaS-Bench,这是一个旨在评估计算机使用代理(CUA)在现实专业工作流程中的新基准。该基准跨越六个领域,使用了23个软件即服务(SaaS)系统,包含106项需要长周期执行的任务,这些任务可以是纯文本或多模态的。初步实验显示,目前基于LLM的代理表现不佳,端到端完成的任务不到4%,这凸显了在规划、状态跟踪和跨应用程序上下文维护方面存在的重大局限性。
-
新基准显示AI代理难以处理真实的SaaS任务
研究人员推出了SaaS-Bench,这是一个新的基准,旨在评估计算机使用代理(CUAs)在软件即服务(SaaS)环境中的现实专业工作流程。该基准包含六个专业领域中23个SaaS系统的106个任务,需要长周期执行,并涵盖纯文本和多模态场景。初步实验显示,当前的LLM代理表现不佳,最好的模型端到端完成的任务不到4%,凸显了在规划、状态跟踪和错误恢复方面存在重大局限性。
-
调查梳理了自主使用计算机的智能体的安全和安保威胁
一篇新的调查论文对使用计算机的智能体(CUAs)构成的安全和安保威胁进行了分类。这些由LLM驱动的智能体可以自主地与软件和界面进行交互,带来了新的风险。该论文概述了这些威胁的分类法,并提出了防御策略,旨在指导未来安全CUAs的研究和实际部署。
-
Latent Space 播客探讨 AI 代理和无服务器浏览
Latent Space 播客(也称为 The AI Engineer Podcast)讨论了开源工具和不断发展的 AI 代理格局。涵盖的主题包括“Open Operator”的开发、无服务器浏览技术的进步以及计算机使用代理对人工智能未来的更广泛影响。