研究人员开发了PAGE,一个旨在改进生成与语音和手势同步的逼真、音频驱动肖像视频的新框架。该系统通过在训练期间使用部件特定重加权来关注嘴唇和眼睛等关键区域,并在推理期间采用一致性分类器引导和差分引导来纠正不一致并优化运动,从而增强局部细节和视听对齐。为了支持评估,创建了一个名为Chinese Announcer Speech (CAS)的新基准数据集,其多样性超过了现有数据集。 AI
影响 增强了AI生成视频的逼真度和同步性,可能影响虚拟头像和内容创作等应用。
排序理由 该集群描述了一篇详细介绍视频生成新框架和数据集的研究论文。
- alphaXiv
- arXiv
- Chinese Announcer Speech
- Consistency Classifier Guidance
- DagsHub
- Differential Guidance
- Hugging Face
- PAGE
- Parts-Specific Reweighting
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →