PulseAugur
实时 23:03:05

AppAgent: LLM代理像人类一样学会使用智能手机应用

研究人员开发了AppAgent,一个新颖的框架,使基于大型语言模型的模态代理能够操作智能手机应用程序。该代理模仿人类的点击和滑动等交互方式,无需直接访问系统后端。AppAgent通过自主探索或观察人类演示来学习导航和使用新应用,并为复杂的跨应用任务构建知识库。在10个应用程序和50个任务上的广泛测试证明了其处理各种高级操作的能力。 AI

影响 该框架可以实现更复杂的AI助手,能够在各种移动应用程序中执行复杂任务。

排序理由 该集群包含一篇详细介绍新AI框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

AppAgent: LLM代理像人类一样学会使用智能手机应用

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Chi Zhang, Zhao Yang, Jiaxuan Liu, Yanda Li, Yucheng Han, Xin Chen, Zebiao Huang, Bin Fu, Gang Yu ·

    AppAgent: Multimodal Agents as Smartphone Users

    arXiv:2312.13771v3 Announce Type: replace Abstract: Recent advancements in large language models (LLMs) have led to the creation of intelligent agents capable of performing complex tasks. This paper introduces a novel LLM-based multimodal agent framework designed to operate smart…