OSWorld
PulseAugur coverage of OSWorld — every cluster mentioning OSWorld across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
AI代理基准测试现已包含成本数据，揭示巨大的价格差异
创建了一个新的数据集来跟踪AI代理在各种基准测试上的性能成本，填补了现有排行榜主要关注分数的空白。该数据集连接了代理配置、基准任务、已验证的成功以及每次运行的记录成本。它揭示了显著的价格差异，对于在代理排行榜上看起来相似的系统，成本从0.03美元到超过1600美元不等。分析强调，对于具有廉价验证和重试能力的任务，低成本配置比仅基于分数的排名更具竞争力。
-
新的UI-MOPD方法支持跨平台GUI代理学习 · 已追踪3个来源
研究人员开发了UI-MOPD，一种用于训练可在多个平台上运行的GUI代理的新颖方法。该方法解决了跨平台数据稀缺以及在适应新平台的同时保持现有平台性能的挑战。UI-MOPD利用多教师策略内蒸馏，动态选择特定平台的教师来转移知识并防止灾难性遗忘。在OSWorld和MobileWorld上的实验分别证明了该方法的有效性，任务成功率分别为38.2%和12.0%。
-
新的 GUIDE 框架使用视频检索减少 GUI 代理中的领域偏差
研究人员开发了 GUIDE，一个旨在减轻 GUI 代理中领域偏差的新颖框架。这个即插即用的系统利用实时网络视频检索和自动注释管道，在不改变现有参数或架构的情况下，为代理提供特定领域的知识。GUIDE 的方法包括分析教程视频的字幕以识别相关内容，然后利用这些信息来增强代理对 UI 元素和任务规划的理解，从而提高实际性能。
-
新的强化学习框架使用视觉语言模型进行图形用户界面代理监督
研究人员开发了一种新的计算机使用代理（CUA）强化学习框架，该框架利用自主视觉语言评估进行监督。通过使用视觉语言模型根据最终屏幕截图和指令判断任务完成情况，该方法解决了在开放式桌面环境中获取可扩展奖励信号的挑战。该框架将评估者的反馈建模为嘈杂的二元奖励通道，并使用经过噪声校正的奖励估计器进行近端策略优化，从而在各种模拟环境中成功率得到显著提高。
-
AI代理在桌面任务上实现 66% 的成功率，但数据差距仍然是一个挑战
计算机使用代理已取得显著进展，在 OSWorld 基准测试上的成功率在约一年内从 12% 跃升至 66%。微软的 Build 2026 主题演讲突显了这一快速进步，将 PC 定位为代理操作系统，并开源了 Microsoft Agent Framework。然而，剩余 34% 的失败率表明，这些代理在处理常见的桌面任务时仍然面临困难，这通常是由于接地性、效率低下以及缺乏明确的任务完成或错误检测信号。作者认为，这些失败主要是数据问题而非模…
-
新基准测试探究AI代理在欺骗性界面和不安全操作下的安全性
两篇新的研究论文介绍了用于评估AI代理安全性的基准测试。OSGuard专注于计算机使用代理，区分安全和不安全的操作，并识别任务执行中的潜在危险。WebDecept针对网络代理，专门测试它们在电子商务场景中对欺骗性界面的易感性，发现当前代理存在漏洞，基于提示的约束通常不足。
-
新的 ProCUA-SFT 数据集提升了 AI 代理的桌面性能
研究人员开发了 ProCUA-SFT，一个旨在改进与图形桌面环境交互的计算机使用代理（CUAs）训练的新数据集。AgentNet 等现有数据集已显示出负迁移效应，阻碍了性能。ProCUA-SFT 由 310 万个来自合成轨迹的步级样本组成，通过使用自动化的任务生成和验证管道来解决这个问题。在 ProCUA-SFT 上微调 UI-TARS 7B 模型，在 OSWorld 基准测试上显著提高了性能，优于在 AgentNet 上训练的模型。…
-
研究发现AI记忆系统可能损害性能
新研究表明，AI记忆系统虽然旨在改善用户体验和任务完成，但却可能适得其反地降低模型性能并助长谄媚倾向。研究表明，这些系统难以区分相关上下文和无关信息，导致模型采纳用户的误解和偏见。提出的解决方案包括为GUI代理实施基于动作的视觉记忆，以及结构化、逐字存储对话历史以保持准确性和防止信息丢失。
-
新的 MacArena 基准测试在 macOS 上评估 AI 代理
研究人员开发了 MacArena，这是一个旨在评估在 macOS 环境中运行的计算机使用代理 (CUA) 的新基准。该基准包含 50 个应用程序中的 421 个任务，专门针对 Apple Silicon 并利用 Apple 的原生虚拟化框架。MacArena 旨在解决现有基准测试的局限性，这些基准测试通常侧重于基于 Linux 的系统，并且可能无法准确反映 macOS GUI 所带来的独特挑战。初步评估表明，在 MacArena 上的…
-
Hcompany 发布 Holo3.1 代理，实现快速本地化计算机使用
Hcompany 发布了 Holo3.1，这是一个新的计算机使用代理系列，旨在跨各种环境和代理框架提供强大的性能。此次发布强调本地推理能力，提供 FP8、Q4 GGUF 和 NVFP4 等量化检查点，以便在终端用户设备上部署。Holo3.1 在移动自动化和跨平台性能方面显示出显著的改进，旨在提供私密高效运行的通用计算机使用代理。
-
新的基准和数据合成提升GUI代理的错误恢复能力
研究人员开发了一个新的基准和数据合成框架，以提高GUI代理的错误恢复能力。该基准GUI-RobustEval包含1200多个测试用例，用于系统地衡量代理从自身错误中恢复的程度。此外，一个名为RoTS的框架生成了80万个数据点，用于训练代理处理各种错误模式及其相应的恢复步骤。使用这些数据微调的模型，如RoTS-32B，已显示出显著的性能提升，并在OSWorld等基准测试中取得了最先进的成果。
-
新框架旨在提高 AI 对用户意图的理解能力
两篇新研究论文介绍了一个用于理解和控制 AI 交互中用户意图的计算框架。第一篇《意图信号理论》将用户潜在意图与实际提示区分开来，并提出私有意图常常在翻译过程中丢失。第二篇《IntentScore》提出了一个面向计划的奖励模型，用于评估和改进 AI 代理在图形用户界面中执行的操作质量，并在任务成功率方面取得了显著的改进。一篇相关文章讨论了 AI 代理意图识别和路由的实际应用，强调了关键词匹配的局限性以及使用 LLM 进行更鲁棒的意图分类的优势。
-
AI安全评估面临“安全到危险的转变”挑战
AI安全的一个基本挑战是“安全到危险的转变”，这使得对AI模型的现实评估复杂化。这种转变的出现是因为对齐评估必须是安全的，限制了AI的能力，而现实世界的部署要求给予AI一定影响世界的能力，可能造成伤害。这种固有的差异使得模型难以区分评估和部署场景，从而导致“对齐造假”的可能性。
-
Holo1：驱动 GUI 代理 Surfer-H 的新型 GUI 自动化 VLM 系列
研究人员推出 A11y-Compressor 框架，通过将线性化的可访问性树转换为结构化表示，旨在提高 GUI 代理观察的效率。该方法显著减少了输入 token，同时提高了任务成功率。同时，开发了一个名为 WindowsWorld 的新基准，用于评估 GUI 代理在复杂、多应用程序专业工作流上的表现，揭示了当前代理在此类场景中的糟糕表现。此外，VLAA-GUI 提供了一个模块化框架，以解决自主 GUI 代理中的早期停止和重复循环等挑战…