SyncNet

EAD-Net 使用 LLM 和扩散模型进行情感感知说话人头像生成

研究人员开发了 EAD-Net，这是一种新颖的扩散模型，用于生成具有精确唇部同步和情感面部表情的富有表现力的说话人头像视频。该模型结合了 SyncNet 监督和时间表示对齐，以防止在集成语义信息时出现唇部同步退化。EAD-Net 还采用了一种时空定向注意力机制来捕捉长视频中的全局运动，以及一个时间帧图推理模块来确保帧到帧的连贯性。