研究人员推出了 DragOn，这是一个新的基准和数据集，旨在提高 GUI 代理在处理基于拖拽的交互方面的性能。该数据集包含 286,000 张训练截图和 350 万个训练任务，涵盖四个领域：文本高亮、单元格选择、元素调整大小和滑块操作。对包括 GPT、Claude、Qwen 和 Kimi 在内的各种专有和开源模型进行的评估表明，在 DragOn 上进行微调可以增强它们在复杂拖放和类似 GUI 操作方面的能力。 AI
影响 增强了 GUI 代理自动执行数字任务的能力，可能改善用户体验和效率。
排序理由 该集群包含一篇介绍人工智能研究新基准和数据集的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.06322v1 Announce Type: new Abstract: GUI agents - vision-based models that control desktops, web browsers, and mobile devices through graphical user interfaces - promise to automate a wide range of digital tasks. While million-scale datasets have enabled substantial pr…
GUI agents - vision-based models that control desktops, web browsers, and mobile devices through graphical user interfaces - promise to automate a wide range of digital tasks. While million-scale datasets have enabled substantial progress on click-grounding, drag grounding (e.g. …