GUI Grounding
PulseAugur coverage of GUI Grounding — every cluster mentioning GUI Grounding across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新AI方法通过自演化和反思增强GUI基础 · 跟踪4个来源
研究人员正在开发先进的GUI视觉基础方法，使AI代理能够更好地与图形用户界面交互。一种方法，测试时自演化GUI视觉基础，使用探索、评估、反思和内化的闭环系统，在无需人工标签的情况下提高部署后适应性，准确率提高了7.4%。另一种方法，无幻觉GUI基础，将指令理解与定位分离，使用冻结的MLLM进行解析，并使用避免坐标回归的专用基础模型，在ScreenSpot-Pro和Mind2Web等基准测试中取得了显著的准确率提升。第三种技术，Look…
-
新研究发现视觉语言模型中存在“视觉锁定”现象
研究人员在视觉语言模型中发现了一种称为“视觉锁定”的现象，其中过时的语言描述可能导致对当前场景做出错误决策。当模型内部表征的变化（由先前信息触发）集中在特定的“先前方向”时，就会发生这种情况。研究发现，表现出更强锁定效应的模型，其变化以紧凑、可重用的模式组织。移除与这些先前方向对齐的组件的干预措施恢复了正确的视觉基础，这表明这些模式的一致性决定了模型更新其理解的难易程度。
-
新方法提升 VLM 在 GUI 基础任务上的准确性 · 2 篇论文
两篇新研究论文介绍了用于提高视觉语言模型 (VLM) 在 GUI 基础任务上的准确性和可靠性的新方法。第一篇论文《Trust the Right Teacher》提出了一种质量感知自蒸馏方法，通过使用正确性感知门控和概率缩放来处理不可靠的坐标-token 预测，从而优化教师信号。第二篇论文《VISTA》提出了一个视图一致性自验证训练框架，该框架利用 GUI 的多个语义等价视图来稳定强化学习并提高坐标生成准确性，在 Qwen 主干上取得…