graphical user interface
PulseAugur coverage of graphical user interface — every cluster mentioning graphical user interface across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的PalmClaw框架使LLM代理能够原生运行在手机上
研究人员开发了PalmClaw，一个开源框架，使大型语言模型（LLM）代理能够原生运行在手机上。与依赖图形用户界面交互的现有系统不同，PalmClaw通过显式工具直接访问设备功能，将任务成功率提高了11.5%，并将完成时间缩短了94.9%。这种设备端方法旨在利用移动设备的可访问性和数据，实现更高效、更可控的代理执行。
-
Instagui 工具根据 CLI 帮助文本生成 GUI
一款名为 Instagui 的新工具已被开发出来，旨在弥合命令行界面（CLI）和图形用户界面（GUI）之间的差距。Instagui 分析 CLI 命令的 --help 输出，自动生成一个基于 Web 的 GUI。其目的是通过为那些可能难以记住特定命令或标志的用户提供可视化界面，从而使 CLI 更易于访问和使用。
-
新基准和方法改进了 AI 代理的不确定性量化
研究人员开发了新的方法来量化与图形用户界面 (GUI) 交互的 AI 代理以及机器人技术中使用的视觉-语言-动作模型 (VLA) 的不确定性。第一项研究“Argus”在各种代理和数据集上对 27 种方法进行了基准测试，发现不确定性排名在同一模型类别内是稳定的，但在不同模型和界面之间会下降。第二项研究为基于流匹配的 VLA 引入了速度场不一致性 (VFD)，证明了其在故障检测方面的有效性，并实现了一个名为 SAVE 的框架，该框架能够以…
-
调查梳理了用于从视觉输入生成代码的多模态AI
一篇新发表在arXiv上的调查论文探讨了新兴的多模态代码智能领域。该领域专注于能够根据屏幕截图、图表和交互状态等视觉输入理解和生成代码的AI模型，超越了传统的文本到代码合成。该论文将现有研究分为四个领域：图形用户界面、科学可视化、结构化图形以及前沿任务和框架。它还提出了以验证为中心的未来研究方向，包括多信号验证、多状态验证、跨任务迁移测试和可验证的代理轨迹。
-
调查梳理多模态代码智能系统并提出未来研究方向
本调查论文对基于视觉输入生成和推理代码的多模态代码智能系统进行了分类和分析。它将现有方法分为四个领域：图形用户界面、科学可视化、结构化图形以及前沿任务和框架。该论文还提出了四个未来的研究方向，重点关注以验证为中心的方法，以改进代理行为在视觉证据中的基础。
-
新基准评估AI代理在混合移动设备交互中的表现
研究人员推出PhoneHarness，这是一个旨在评估与移动设备交互的AI代理的新基准和执行框架。与以往只关注GUI控件的方法不同，PhoneHarness支持混合操作方法，允许代理利用图形用户界面、命令行界面和外部工具。该框架旨在评估代理完成具有可观察副作用的可验证移动工作流的能力，而不仅仅是预测下一个屏幕操作。相关的基准PhoneHarness Bench，通过率为75.0%，显著优于现有设置12.9个百分点，突显了操作表面路由和…
-
新研究解决计算机使用代理的安全性和效率问题 · 跟踪 6 个来源
近期研究正在探索计算机使用代理（CUAs）的安全性和效率。一篇论文介绍了 MisActBench 和一个名为 DeAction 的护栏，用于检测和纠正不当行为，显著降低了攻击成功率。另一项研究比较了 GUI 和 CLI 代理，发现虽然 GUI 代理最初表现更好，但经过技能增强的 CLI 代理可以实现更高的成功率。第三篇论文强调了隐私风险，介绍了 AgentCIBench 来评估 CUA 如何处理上下文完整性，并发现许多代理会在应用程序…
-
复旦、通义实验室推出ToolCUA，用于Agent在GUI和工具间选择
复旦大学和通义实验室的研究人员开发了ToolCUA，一种新的Agent训练范式，可以有效地利用图形用户界面（GUI）操作和工具调用。实验表明，仅仅为Agent配备工具并不能自动提高性能，因为模型经常在GUI和工具动作之间难以选择，导致准确率下降。ToolCUA通过首先合成交错的GUI-Tool轨迹，然后采用新颖的工具高效路径奖励进行在线Agent强化学习，来指导Agent选择最优动作路径。
-
ScreenSearch系统改进了AI代理对桌面GUI的探索
研究人员开发了ScreenSearch，一个旨在改进AI代理对桌面图形用户界面（GUI）状态探索的新颖系统。该系统解决了部分可观察性带来的挑战，在这种情况下，视觉上相似的屏幕可能代表不同的底层工作流状态，导致局部合理操作产生不可预测的结果。ScreenSearch结合了结构化屏幕检索和去重，以及一个具有歧义感知能力的图-赌博机算法，以管理大规模桌面探索，在十一个应用程序中收集了超过一百万张截图和三万个去重状态。
-
EVE框架推出开源LLM以用于地球情报
研究人员开发了EVE，一个专注于地球情报的专用大型语言模型（LLM）的开源框架。EVE的核心是EVE-Instruct，一个拥有240亿参数的模型，源自Mistral Small 3.2，在与地球观测和地球科学相关的推理和问题解答方面表现出色。该新模型在定制基准测试中展示了卓越的性能，同时保留了通用能力，该项目还发布了精选的训练数据和评估基准。EVE包含一个具有检索增强生成（RAG）和幻觉检测的生产系统，支持超过350名试点用户。
-
GoClick 模型为设备端 AI 代理提供轻量级 GUI 元素定位
研究人员开发了 GoClick，这是一种新颖的轻量级视觉语言模型，专为资源受限设备上的精确 GUI 元素定位而设计。与现有的模型不同，GoClick 采用编码器-解码器架构和渐进式数据精炼流程，以显著减少的参数量实现高精度。这种方法使得 GUI 代理能够在设备端执行，提高延迟和性能，并在集成到设备-云协作框架时取得了成功。
-
重新思考GUI视觉代理中历史截图的Token剪枝：语义、空间和时间视角
研究人员探索了用于利用多模态大语言模型（MLLM）的GUI视觉代理的Token剪枝策略。他们的研究表明，截图中经常被忽视的背景区域可以为推理界面状态提供关键的辅助线索。研究结果表明，与更复杂的方法相比，随机剪枝在保持空间结构方面出奇地有效。此外，代理受益于近因效应，当优先考虑最近的截图并压缩较旧的截图时，其表现相似。
-
Holo1：驱动 GUI 代理 Surfer-H 的新型 GUI 自动化 VLM 系列
研究人员推出 A11y-Compressor 框架，通过将线性化的可访问性树转换为结构化表示，旨在提高 GUI 代理观察的效率。该方法显著减少了输入 token，同时提高了任务成功率。同时，开发了一个名为 WindowsWorld 的新基准，用于评估 GUI 代理在复杂、多应用程序专业工作流上的表现，揭示了当前代理在此类场景中的糟糕表现。此外，VLAA-GUI 提供了一个模块化框架，以解决自主 GUI 代理中的早期停止和重复循环等挑战…