实体
VidDub
VidDub
PulseAugur coverage of VidDub — every cluster mentioning VidDub across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的VidDub方法通过替换感知监督改进视频配音
研究人员推出了一种新颖的视频配音方法VidDub,该方法解决了替换原始音频时视觉线索冲突的挑战。该技术采用“替换感知跨音频监督”,它会掩盖未配对音频的口部重建损失,并专注于视听同步。VidDub还利用了两步扩散编辑器,结合了匹配轨迹回归和分布匹配,以提高视觉质量和源内容保留。
-
VidDub模型通过替换感知监督增强视频配音
研究人员开发了VidDub,一种新颖的两步扩散模型,用于视频配音,可增强唇同步和视觉保真度。该模型采用替换感知跨音频监督技术,以防止语音合成过程中出现冲突目标。VidDub被设计为一个全上下文扩散编辑器,提炼为两个去噪步骤,旨在在准确匹配唇部运动与目标语音的同时,保留说话人身份和背景细节。