研究人员推出了一种新颖的交互式视频世界模型“Incantation”，它使用自然语言作为其主要的动作接口。这种方法可以对视频中的多个实体进行细粒度控制，并促进跨实体泛化，克服了传统接口的局限性。该模型采用带有帧局部文本交叉注意力的预训练视频骨干，并使用蒸馏技术来实现实时性能。与现有基线相比，Incantation 在跨实体迁移和处理词汇外提示方面表现出优越的性能，并已应用于不同的游戏环境中。 AI
影响 这项研究可以实现对人工智能生成视频内容更直观、更灵活的控制。
排序理由 这是一篇详细介绍新模型和方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
