PulseAugur
中
实时 10:46:23
实体 UI Automation

UI Automation

PulseAugur coverage of UI Automation — every cluster mentioning UI Automation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
3
90 天内 4
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

3 天有情绪数据

最近 · 第 1/1 页 · 共 4 条
  1. TOOL · CL_344584 ·

    Vercel Labs 发布 agent-desktop 1.2.0,集成 Model Context Protocol

    Vercel Labs 发布了 agent-desktop 1.2.0 版本,该版本集成了 Model Context Protocol (MCP),将 CLI 命令公开为工具。这使得代理能够通过操作系统的可访问性树与 macOS、Windows 和 Linux 上的桌面应用程序进行交互,提供结构化和类型化的访问,而不是依赖屏幕截图。此次更新还引入了对 stdin 的支持,用于文本管道传输,提高了填写表单和聊天交互等任务的效率。

  2. TOOL · CL_333273 ·

    Vercel Labs 开源 agent-desktop 以实现 AI 代理的电脑使用 · 跟踪 5 个来源

    Vercel Labs 发布了 agent-desktop,这是一个开源的命令行界面工具,使 AI 代理能够跨 macOS、Windows 和 Linux 与桌面应用程序进行交互。与依赖屏幕截图的工具不同,agent-desktop 通过操作系统的辅助功能树访问应用程序,为代理提供结构化数据和稳定的引用。这种方法显著减少了 token 使用量,据报道,对于密集型应用程序,可节省 78% 到 96% 的 token,并允许代理在不干扰用…

  3. TOOL · CL_325312 ·

    Windows UIPI 阻止 AI 代理控制提升的应用程序

    Windows 上的电脑使用代理普遍存在一个问题,即它们无法与任务管理器或注册表编辑器等提升的应用程序进行交互。此限制源于 Windows 的用户界面权限隔离 (UIPI) 功能,该功能可阻止低完整性进程控制高完整性进程。因此,即使 AI 代理仍能捕获屏幕截图,但在中等完整性级别运行的代理也无法向提升的应用程序发送合成输入、窗口消息或发现 UI 元素。该问题可以通过检查代理和目标应用程序的完整性级别来诊断,潜在的解决方案包括以非管理员…

  4. TOOL · CL_94830 ·

    AI 代理通过 UI Automation 获得直接 Windows 控制权

    一种新的 AI 驱动的桌面自动化方法,称为 Windows MCP,允许代理使用 UI Automation (UIA) 与应用程序交互,而无需仅依赖屏幕截图和视觉模型。此方法可以访问按钮和输入字段等应用程序元素的底层结构,从而提供更强大、更有效率的任务执行方式。虽然并非所有界面的完美解决方案,但这一进步使得实际的 AI 驱动的办公自动化变得更加可行。