UniVOE

UniVOE框架增强视频对象移除和注入

研究人员开发了UniVOE，一个旨在改进视频对象编辑的新框架，特别是在移除和注入任务方面。该系统采用一种驱动式移除方法，首先使用视频修复技术训练一个感知效果的移除器。该移除器随后通过将包含对象的视频转换为不包含对象的版本来生成配对数据，这些数据随后用于训练注入模型。UniVOE还采用一种基于奖励的训练后方法，使生成的内容与人类偏好保持一致，在涉及对象交互的挑战性场景中取得了最先进的结果。