研究人员推出EvoGUI，这是一个旨在评估AI模型对图形用户界面（GUI）状态转换理解能力的新基准。该框架将GUI轨迹转换为三个不同的问答探针，除了归一化的轨迹数据外，无需额外标注。在Mind2Web和WebLINX等现有数据集上进行测试时，即使是最强大的模型在EvoGain指标上的得分也仅为60.4%，表明AI在此理解领域仍有很大的改进空间。 AI
影响 突显了AI在理解和交互复杂图形界面方面的关键差距，可能指导未来GUI代理的研究。
排序理由 该集群包含一篇介绍AI研究新基准的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2607.17050v1 Announce Type: cross Abstract: GUI agents must reason about how actions transform interface states, but end-to-end success rates entangle this ability with perception, grounding, planning, and recovery. We introduce EvoGUI, a diagnostic framework that converts …