研究人员开发了 EfficientSync，一个新颖的、用于视频中音频驱动唇部同步的实时框架。与重建下半脸的先前方法不同，EfficientSync 专注于忠实地转移现有的参考纹理以保持身份和真实性。该系统利用动态纹理混合器进行高效的多参考融合，时空移位自适应掩蔽将唇部生成条件与背景隔离，以及 STAR 采样来选择最佳参考帧。这种方法在单个 GPU 上以 166 FPS 的高帧率实现了最先进的视觉质量和身份保持。 AI
影响 这项研究提供了一种更高效、更真实的唇部同步方法，有望改进视频会议和内容创作工具。
排序理由 详细介绍新方法及其实验结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Dynamic Texture Mixer
- EfficientSync
- Hugging Face
- Spatio-Temporal Shifted Adaptive Masking
- STAR Sampling
- VFHQ
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
