AppAgent

AppAgent: LLM代理像人类一样学会使用智能手机应用

研究人员开发了AppAgent，一个新颖的框架，使基于大型语言模型的模态代理能够操作智能手机应用程序。该代理模仿人类的点击和滑动等交互方式，无需直接访问系统后端。AppAgent通过自主探索或观察人类演示来学习导航和使用新应用，并为复杂的跨应用任务构建知识库。在10个应用程序和50个任务上的广泛测试证明了其处理各种高级操作的能力。