Yilin Cao

MobileDreamer框架通过生成式草图世界模型增强GUI代理能力

研究人员推出了MobileDreamer，一个旨在增强移动GUI代理能力的创新框架。该系统利用生成式草图世界模型来预测行动结果，使代理能够规划超越即时屏幕交互的长期任务。该模型将屏幕图像转换为与任务相关的关键草图，并通过一种顺序无关的学习策略保留空间信息。在Android World基准测试上的实验表明，MobileDreamer将任务成功率显著提高了5.25%，并能准确预测关键的GUI元素。