研究人员开发了一种无需重新训练核心模型即可控制视频生成模型的方法。通过在采样阶段注入可微分能量引导,他们可以引导基于 Open-Sora 2.0 MM-DiT 主干构建的世界模型的规划轨迹。这种方法可以实现诸如在特定点让模型刹车等操作,尽管生成的视频尚未完美遵循引导轨迹,这表明模型架构中需要改进跨流耦合。 AI
影响 无需昂贵的再训练周期即可实现对 AI 生成视频内容的更灵活控制。
排序理由 详细介绍一种控制视频生成模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →