Feature Most-Similar Propagation

新的视频编辑方法提高了效率和视觉保真度

研究人员开发了一种名为 Edit-Your-Interest 的新视频编辑方法，旨在比现有技术更具计算效率和视觉一致性。该方法利用时空特征记忆（SFM）库存储先前帧的特征，减少了对全序列建模的需求。然后，特征最相似传播（FMP）机制检索当前帧的相关缓存令牌，提高时间一致性并最大限度地减少模糊等伪影。该系统还包含用于 SFM 的基于特征多样性的更新算法，并使用交叉注意力图提取掩码以进行精确的对象编辑，同时保持背景完整性。