PulseAugur
实时 13:54:09
English(EN) DragOn: A Benchmark and Dataset for Drag-Based GUI Interactions

新的 DragOn 数据集旨在提升 GUI 代理的拖放技能

研究人员推出了 DragOn,这是一个旨在提高 GUI 代理在拖拽交互方面性能的新基准和数据集。该数据集包含 286,000 张训练截图和 350 万个训练任务,涵盖四个领域:文本高亮、单元格选择、元素调整大小和滑块操作。对包括微调后的 Qwen VLM 在内的专有和开源模型进行的评估表明,DragOn 可以增强最先进模型执行复杂计算机使用任务的能力。 AI

影响 增强了 AI 自动化复杂 GUI 交互的能力,可能加速数字任务自动化。

排序理由 该集群包含一篇介绍 AI 研究新基准和数据集的学术论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Ronan Riochet ·

    DragOn:用于拖拽式 GUI 交互的基准测试和数据集

    GUI agents - vision-based models that control desktops, web browsers, and mobile devices through graphical user interfaces - promise to automate a wide range of digital tasks. While million-scale datasets have enabled substantial progress on click-grounding, drag grounding (e.g. …