研究人员开发了 GoClick，这是一种新颖的轻量级视觉语言模型，专为资源受限设备上的精确 GUI 元素定位而设计。与现有的模型不同，GoClick 采用编码器-解码器架构和渐进式数据精炼流程，以显著减少的参数量实现高精度。这种方法使得 GUI 代理能够在设备端执行，提高延迟和性能，并在集成到设备-云协作框架时取得了成功。 AI
影响 使代理能够进行设备端 GUI 交互，有望改善移动应用自动化和可访问性。
排序理由 学术论文介绍了一种用于 GUI 元素定位的新型轻量级模型。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2604.23941v1 Announce Type: new Abstract: Graphical User Interface (GUI) element grounding (precisely locating elements on screenshots based on natural language instructions) is fundamental for agents interacting with GUIs. Deploying this capability directly on resource-con…