Android World

新型 VLM 从移动屏幕演示中提取操作知识

研究人员开发了一种名为 Teach VLM 的新方法，用于从移动屏幕演示中提取操作知识。该模型分析视频中的关键帧，以理解操作、UI 元素和执行顺序，将视觉状态转换转化为自然语言描述。为了克服数据稀缺性，创建了一个系统性的数据飞轮以实现可扩展的获取，并引入了一个中文移动屏幕教学基准进行评估。Teach-and-Repeat 范式利用这些操作知识来指导基于屏幕的执行代理，在 Android World 上任务成功率方面显示出显著的改进。