Dynamic Texture Mixer

EfficientSync 通过保留参考纹理实现实时唇部同步

研究人员开发了 EfficientSync，一个新颖的、用于视频中音频驱动唇部同步的实时框架。与重建下半脸的先前方法不同，EfficientSync 专注于忠实地转移现有的参考纹理以保持身份和真实性。该系统利用动态纹理混合器进行高效的多参考融合，时空移位自适应掩蔽将唇部生成条件与背景隔离，以及 STAR 采样来选择最佳参考帧。这种方法在单个 GPU 上以 166 FPS 的高帧率实现了最先进的视觉质量和身份保持。