研究人员开发了 STP-GUI,一个用于高效 Web-GUI 代理的新型框架,解决了高分辨率屏幕截图中视觉令牌过多的问题。与之前独立修剪令牌的方法不同,STP-GUI 采用了一种由查询驱动的、空间连贯的窗口级选择方法。该方法在保持局部视觉结构(对识别 GUI 元素至关重要)的同时,保留了细粒度的指令条件评分。实验表明,STP-GUI 在效率-性能之间取得了有利的权衡,在性能下降最小的情况下显著降低了推理延迟和 FLOPs,并有望迁移到移动 GUI 环境中。 AI
影响 这项研究可能带来更高效、响应更快的 AI 代理,用于与 Web 和移动界面进行交互。
排序理由 详细介绍 AI 代理新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →