RVEDiT

新RVEDiT框架增强基于指令的视频编辑

研究人员推出了一种名为RVEDiT的新型框架，用于基于指令的视频编辑，该框架利用了Diffusion Transformers。该方法旨在通过将编辑指令路由到较早的层，同时为较深的层保留视觉和文本标记，从而创建一个粗到精的编辑过程来改进指令的处理方式。此外，RVEDiT在训练期间采用了一种新颖的注意力对齐技术，以在不增加推理时间的情况下更好地约束模型的内部推理。实验表明，RVEDiT在当前最先进的方法之上，尤其是在需要精确局部化和组合的编辑方面。