研究人员发现,在面向指令引导视频编辑的奖励模型中存在一个显著问题,即模型倾向于牺牲运动来保持时间一致性,这种现象被称为“运动崩溃”。通过使用真实编辑的受控运动抑制变体来演示这个问题,结果表明现有模型经常偏好运动减少的编辑。为了解决这个问题,提出了一种新的运动感知奖励模型,该模型将RGB帧差流与针对运动抑制和虚构运动负样本的偏好训练相结合,成功地将运动抑制候选样本的选择率在VE-Bench运动阶梯上降至零。 AI
影响 通过改进奖励模型评估编辑的方式,这项研究可能带来更自然、更能保留运动的AI视频编辑工具。
排序理由 该集群是关于一篇详细介绍AI视频编辑新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →