PulseAugur
中
实时 18:21:27
实体 SyncNet

SyncNet

PulseAugur coverage of SyncNet — every cluster mentioning SyncNet across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 3 条
  1. TOOL · CL_352419 ·

    SyncNet架构增强了模块化神经网络的组合泛化能力

    研究人员推出了一种新颖的模块化神经网络架构SyncNet,旨在提高组合泛化能力。SyncNet将模块内容与动态相位状态分离,利用学习到的Kuramoto动力学来演化相位,然后通过共享通道协调通信。在Sort-of-CLEVR和SQOOP上的评估中,SyncNet在需要大量测试时重组的场景中表现出优越的未见数据准确率。

  2. TOOL · CL_287152 ·

    PVSync 模型提高了 AI 生成视频中的唇同步准确性

    研究人员开发了 PVSync,这是一种新颖的统一模型,旨在提高生成视频中的唇同步准确性。该模型在估计唇部运动的时序和评估音素的发音方面都表现出色。PVSync 利用对比学习进行同步,并使用一个音素级别的目标来对齐音频和视频嵌入,自动从文本记录中提取视觉音素标签。与现有方法相比,它在匹配人类对唇同步质量的判断以及恢复时间偏移方面都表现出优越的性能。

  3. RESEARCH · CL_06457 ·

    EAD-Net 使用 LLM 和扩散模型进行情感感知说话人头像生成

    研究人员开发了 EAD-Net,这是一种新颖的扩散模型,用于生成具有精确唇部同步和情感面部表情的富有表现力的说话人头像视频。该模型结合了 SyncNet 监督和时间表示对齐,以防止在集成语义信息时出现唇部同步退化。EAD-Net 还采用了一种时空定向注意力机制来捕捉长视频中的全局运动,以及一个时间帧图推理模块来确保帧到帧的连贯性。