AndroidWorld
PulseAugur coverage of AndroidWorld — every cluster mentioning AndroidWorld across labs, papers, and developer communities, ranked by signal.
-
新的训练方法提高了AI代理在智能手机上的性能
研究人员开发了PhoneBuddy，这是一种新颖的训练方法和模型系列，旨在增强开放AI模型与智能手机交互的能力。该方法结合了真实手机环境和名为PhoneWorld的模拟应用内环境，PhoneWorld是从真实的GUI使用数据构建的。训练过程包括监督微调和强化学习，混合方法在真实手机和AndroidWorld基准测试中的任务成功率方面显示出最显著的改进。
-
新方法通过更好的上下文和无标注学习增强移动GUI智能体 · 跟踪2个来源
两篇新研究论文介绍了改进移动GUI智能体能力的创新方法。MemGUI-Agent专注于主动上下文管理，通过将上下文维护视为一等操作来处理长时序任务，在应用切换过程中保留关键信息。而MobileForge则通过整合真实应用交互和分层反馈引导策略优化，实现了这些智能体的无标注适应，减少了对人工监督的需求。
-
新型防御系统保护移动 GUI 代理隐私
研究人员开发了 CAPED，这是一种新颖的防御机制，旨在保护用户在使用移动 GUI 代理时的隐私。这些代理通过截图操作应用程序，可能会无意中暴露与用户任务无关的敏感个人信息。CAPED 作为一种手机端层，仅选择性地暴露代理完成任务所需的必要内容，同时屏蔽附带的私人数据。评估表明，CAPED 在保持高任务效用的同时，显著减少了截图中的附带泄露，表明了设备-云交互在 GUI 代理方面更安全的方法。
-
StainFlow通过新颖的奖励模型改进GUI智能体训练
研究人员引入了StainFlow，这是一种新颖的过程奖励模型，旨在增强GUI智能体的训练。该方法通过提供更精细的训练信号来解决强化学习中反馈稀疏的问题。StainFlow利用实体污点追踪来客观地分离任务阶段，并动态链接局部证据以提高关键节点验证的准确性。
-
Hcompany 发布 Holo3.1 代理，实现快速本地化计算机使用
Hcompany 发布了 Holo3.1，这是一个新的计算机使用代理系列，旨在跨各种环境和代理框架提供强大的性能。此次发布强调本地推理能力，提供 FP8、Q4 GGUF 和 NVFP4 等量化检查点，以便在终端用户设备上部署。Holo3.1 在移动自动化和跨平台性能方面显示出显著的改进，旨在提供私密高效运行的通用计算机使用代理。
-
新框架和基准测试推动移动 GUI 代理能力发展
研究人员开发了几个新的框架和基准测试，以推进移动 GUI 代理的能力。STAMP 为虚拟环境中的代理引入了显式内存训练，提高了任务的韧性。PhoneWorld 提供了一个可扩展的管道，用于将真实的移动轨迹转换为可控环境，用于训练和评估。MIRAGE 强调了 VLM 驱动的代理中的一个漏洞，展示了如何通过用户生成的内容实现提示注入。MobileExplorer 专注于通过并行探索 UI 元素和使用上下文提示来加速这些代理的设备上推理。M…
-
基于代码和文本训练的新世界模型指导移动GUI代理
研究人员开发了一种新颖的方法，通过在四种模态上训练世界模型来增强移动GUI代理：增量文本、完整文本、基于扩散的图像和可渲染代码。这些模型在相关基准测试中取得了最先进的性能，证明了不同表示形式在预测行动后果方面的效用。研究发现，虽然可渲染代码为数据构建提供了高保真度，但基于文本的反馈对于在线执行更为稳健，并且生成的轨迹可以改善代理性能，尽管存在分布变化。