Yuchen Deng

新的BBF框架通过上下文感知运动建模增强说话人头像视频插帧

研究人员开发了一个名为BBF（Beyond Boundary Frames）的新框架，以解决说话人头像插帧的挑战，即在两个固定视频片段之间生成逼真的中间帧。与以往专注于开放式生成的方​​法不同，BBF通过保持端点一致性、利用周围视觉上下文建模合理的运动过渡以及通过语音音频优化面部动态来专门针对编辑任务。在HDTF和Hallo3基准上的实验表明，BBF取得了最先进的性能，在FID和FVD等指标上显著优于现有基线，并展示了强大的泛化能力。