English(EN) Demo2Tutorial: From Human Experience to Multimodal Software Tutorials

新框架将用户体验转化为多模态软件教程

作者 PulseAugur 编辑部 · [2 个来源] · 2026-06-02 17:39

研究人员开发了Demo2Tutorial，这是一个旨在将屏幕录制中的原始人类交互转化为结构化、多模态软件教程的框架。该系统解析用户操作，重建意图，并生成分层任务图来创建图文指令。生成的教程已被证明在提高人类学习和GUI代理的规划能力方面都非常有效，甚至优于人类编写的指南。 AI

影响自动化教学内容的创建，可能提高代理训练和人类学习效率。

排序理由该集群包含一篇详细介绍新框架及其评估的研究论文。

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

arXiv cs.CV TIER_1 English(EN) · Zechen Bai, Zhiheng Chen, Yiqi Lin, Kevin Qinghong Lin, Difei Gao, Xiangwu Guo, Xin Wang, Mike Zheng Shou · 2026-06-03 04:00

Demo2Tutorial：从人类经验到多模态软件教程

arXiv:2606.03951v1 Announce Type: new Abstract: Human experience in digital environments offers a vast, underexplored resource of authentic, untrimmed interactions that contain rich procedural knowledge. We introduce Demo2Tutorial, a framework that transforms this experience capt…
arXiv cs.CV TIER_1 English(EN) · Mike Zheng Shou · 2026-06-02 17:39

Demo2Tutorial：从人类经验到多模态软件教程

Human experience in digital environments offers a vast, underexplored resource of authentic, untrimmed interactions that contain rich procedural knowledge. We introduce Demo2Tutorial, a framework that transforms this experience captured via screen recordings and interaction logs …