Chinese Announcer Speech

新框架PAGE增强了同声手势肖像视频生成

研究人员开发了PAGE，一个旨在改进生成与语音和手势同步的逼真、音频驱动肖像视频的新框架。该系统通过在训练期间使用部件特定重加权来关注嘴唇和眼睛等关键区域，并在推理期间采用一致性分类器引导和差分引导来纠正不一致并优化运动，从而增强局部细节和视听对齐。为了支持评估，创建了一个名为Chinese Announcer Speech (CAS)的新基准数据集，其多样性超过了现有数据集。