研究人员推出 MotionGrounder,一个新颖的框架,旨在实现可控视频生成,解决了现有方法在处理具有特定字幕的多个对象时的局限性。这种基于扩散 Transformer (DiT) 技术的新方法,将运动迁移与包含多个对象的场景中的目标约束独特地结合起来。MotionGrounder 利用基于流的运动信号 (FMS) 来提供稳定的运动先验,并使用目标-字幕对齐损失 (OCAL) 来确保字幕与各自的目标正确关联。该框架还引入了两个新的评估指标:目标约束得分 (OGS) 和运动约束得分 (MGS),以量化评估其在空间对齐、语义一致性和准确运动迁移方面的性能。 AI
影响 通过实现精确的多目标运动迁移和字幕,增强了视频生成的可控性。
排序理由 该集群包含一篇详细介绍视频生成新技术框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Diffusion Transformer
- Flow-based Motion Signal
- MotionGrounder
- Motion Grounding Score
- Object-Caption Alignment Loss
- Object Grounding Score
- Samuel Teodoro
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →