PulseAugur
中
实时 09:47:05
English(EN) Hallucination-Free GUI Grounding via Regression-Free Layout-Aware Matching

新AI方法以更高精度应对GUI基础挑战

作者 PulseAugur 编辑部 · [3 个来源] ·

两篇新研究论文提出了改进AI代理图形用户界面（GUI）基础的准确性和可靠性的新方法。第一篇论文《通过无回归的布局感知匹配实现无幻觉的GUI基础》将指令理解与定位分离，使用冻结的多模态大型语言模型（MLLM）进行解析，并使用专用的基础模型进行精确元素识别，在ScreenSpot-Pro基准测试上实现了超过20%的改进。第二篇论文《LookAgain：具有视觉基础反射的闭环GUI基础》引入了一个闭环系统，该系统将坐标预测视为需要反思和通过预测-查看-再次-精炼过程进行改进的假设，在抗拒绝和通用GUI基础基准测试上展示了最先进的结果。 AI

影响 GUI基础领域的这些进步可能带来更强大、更可靠的AI代理，以实现跨各种应用的自动化任务。

排序理由 两篇在arXiv上发表的学术论文，提出了GUI基础的新方法。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →

新AI方法以更高精度应对GUI基础挑战

报道来源 [3]

  1. arXiv cs.AI TIER_1 English(EN) · Yuke Li, Xuehan Hou ·

    无幻觉的GUI基础：通过无回归的布局感知匹配实现

    arXiv:2608.09654v1 Announce Type: new Abstract: GUI agents are shifting from metadata-dependent large language models to purely visual multimodal large language models (MLLMs) that operate directly on screenshots. The core task, GUI grounding, requires translating abstract user i…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    通过无回归的布局感知匹配实现无幻觉的GUI基础

    GUI agents are shifting from metadata-dependent large language models to purely visual multimodal large language models (MLLMs) that operate directly on screenshots. The core task, GUI grounding, requires translating abstract user instructions into precise element coordinates. Th…

  3. arXiv cs.CV TIER_1 English(EN) · Renshan Zhang, Haoyang Meng, Yixiao He, Rui Shao, April Hua Liu, Liqiang Nie ·

    LookAgain：具有视觉基础反射的闭环 GUI 基础

    arXiv:2608.09723v1 Announce Type: new Abstract: Recent graphical user interface (GUI) grounders have significantly advanced single-shot accuracy on standard benchmarks, yet their performance degrades sharply on small targets, densely packed controls and out-of-distribution interf…

相关实体

相关话题