Aarash Feizi

新数据集和模型推动桌面计算机使用代理发展

研究人员推出了 GroundCUA，这是一个大规模数据集，旨在通过将自然语言指令准确地连接到桌面环境中的屏幕元素来改进计算机使用代理。该数据集包含 56,000 张屏幕截图，涵盖 87 个应用程序，拥有超过 356 万条人工验证的注释。利用此数据集，GroundNext 模型（3B 和 7B 参数规模）在五个基准测试中取得了最先进的性能，且所需的训练数据量远少于以往的方法。