AnchorGUI

AnchorGUI框架通过非对称内存增强VLM导航

研究人员开发了AnchorGUI，一个旨在提高视觉语言模型（VLM）在图形用户界面中自主导航能力的新框架。该系统利用认知状态锚（CSA）来比较预期和观察到的转换，生成预测误差信号。这些信号驱动一个非对称内存机制，选择性地保留意外结果的视觉证据，有助于即时纠错和跨多次尝试的经验蒸馏。实验证明了AnchorGUI的有效性，在AndroidWorld基准测试上成功率达到57.3%，同时减少了令牌使用量，并在跨试验蒸馏方面显著优于标准的反射方法。