研究人员开发了AnchorGUI,一个旨在提高视觉语言模型(VLM)在图形用户界面中自主导航能力的新框架。该系统利用认知状态锚(CSA)来比较预期和观察到的转换,生成预测误差信号。这些信号驱动一个非对称内存机制,选择性地保留意外结果的视觉证据,有助于即时纠错和跨多次尝试的经验蒸馏。实验证明了AnchorGUI的有效性,在AndroidWorld基准测试上成功率达到57.3%,同时减少了令牌使用量,并在跨试验蒸馏方面显著优于标准的反射方法。 AI
影响 增强了VLM在复杂GUI环境中的能力,可能提高代理性能并降低计算负载。
排序理由 该集群包含一篇详细介绍VLM导航新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →