Mind2Web
PulseAugur coverage of Mind2Web — every cluster mentioning Mind2Web across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新AI方法通过自演化和反思增强GUI基础 · 跟踪4个来源
研究人员正在开发先进的GUI视觉基础方法，使AI代理能够更好地与图形用户界面交互。一种方法，测试时自演化GUI视觉基础，使用探索、评估、反思和内化的闭环系统，在无需人工标签的情况下提高部署后适应性，准确率提高了7.4%。另一种方法，无幻觉GUI基础，将指令理解与定位分离，使用冻结的MLLM进行解析，并使用避免坐标回归的专用基础模型，在ScreenSpot-Pro和Mind2Web等基准测试中取得了显著的准确率提升。第三种技术，Look…
-
新的EvoGUI基准揭示AI在GUI状态转换方面存在困难
研究人员推出EvoGUI，这是一个旨在评估AI模型对图形用户界面（GUI）状态转换理解能力的新基准。该框架将GUI轨迹转换为三个不同的问答探针，除了归一化的轨迹数据外，无需额外标注。在Mind2Web和WebLINX等现有数据集上进行测试时，即使是最强大的模型在EvoGain指标上的得分也仅为60.4%，表明AI在此理解领域仍有很大的改进空间。
-
新的LLM代理SkillMigrator通过布局匹配重用网络技能
研究人员开发了SkillMigrator，这是一种新颖的方法，用于大型语言模型（LLM）网络代理在不同网站之间重用技能。与依赖指令相似性或站点元数据的先前方法不同，SkillMigrator基于页面布局结构匹配可迁移交互模式（TIPs）。这使得代理能够通过识别相似的结构布局在新页面上巩固技能，从而在WebArena和Mind2Web等基准测试中将LLM操作计数减少8-10%。
-
FluxMem框架通过演进式图拓扑增强LLM代理的记忆
研究人员推出FluxMem，一个旨在增强LLM代理在动态环境中能力的全新记忆框架。与传统的静态记忆系统不同，FluxMem将记忆建模为一个持续演进的异构图。该框架通过三个阶段精炼其拓扑：初始连接、反馈驱动调整和长期巩固。FluxMem在LoCoMo、Mind2Web和GAIA等基准测试中展示了最先进的性能，展示了代理任务适应性和泛化能力的提高。相关代码将开源。