Video Diffusion Models
PulseAugur coverage of Video Diffusion Models — every cluster mentioning Video Diffusion Models across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
外极几何增强视频生成模型,提高一致性
研究人员开发了一种新方法,通过引入经典计算机视觉概念——外极几何,来改进视频生成模型。当前的潜在扩散 Transformer 模型虽然先进,但经常生成几何不一致和运动不稳定的视频。通过应用基于偏好的优化和成对外极几何约束,新方法直接解决了这些问题。该技术成功将外极误差减少了 31%,并在不牺牲视觉质量的情况下显著提高了生成视频的人工评分一致性。
-
新框架利用图像编辑来指导视频扩散模型
研究人员开发了两个新框架 EditDistill 和 VidEdit3D,通过利用图像编辑技术和视频扩散模型来增强视频编辑能力。EditDistill 从图像编辑中提取视觉变换来指导视频扩散模型,使用特定的损失函数来保持时间一致性和结构。VidEdit3D 将 3D 场景编辑重新构建为视频编辑任务,利用视频扩散模型来实现跨视图的语义和结构一致性,并采用区域选择性细化来精确控制编辑。
-
WorldForge V2 增强视频扩散模型中的相机控制
研究人员开发了 WorldForge V2,一个旨在增强视频扩散模型中相机轨迹控制的新框架。该方法采用一种无需训练的引导方法,通过选择性地引导与运动相关的潜在通道来沿着目标相机路径优化生成内容。为了提高效率并减少伪影,WorldForge V2 包含一个用于近似校正的 v-cache 和一个采用两阶段策略训练的 Trajectory LoRA 适配器,从而能够以最少的数据实现有效的相机控制,并泛化到新场景。
-
新方法无需额外训练即可实现布局引导的视频合成
研究人员开发了一种新颖的、无需训练的视频合成方法,该方法利用现有的视频扩散模型来控制对象的布局和运动。该方法分两个阶段进行:首先,它使用提示引导的交叉注意力来建立时空布局,创建一个粗略的视觉指南。然后,该指南将条件化相同的模型,以生成具有一致布局和时间连贯性的高质量视频。实验表明,该方法在各种场景类型的准确性和视觉质量方面均优于先前技术。
-
视频扩散化身 (Video Diffusion Avatars) 可从单张图像创建可控的3D模型
研究人员开发了视频扩散化身 (Video Diffusion Avatars, VDAs) 方法,这是一种从单张图像创建逼真、可控3D化身的新颖方法。通过微调视频扩散模型,VDAs 在相机视角、面部表情和上半身姿势方面提供了增强的控制能力,在表现力方面超越了传统的3D可变形模型,尤其是在处理复杂的面部运动时。该方法解决了学习到的表情代码中固有的视角偏差,并在单个 A100 GPU 上实现了高效训练,在新的视角重演和多视角一致性方面优于…
-
GeoFix框架提升4D视频生成一致性
研究人员开发了GeoFix,一个旨在增强4D生成视频几何一致性的新框架。该方法利用单一几何奖励,专注于静态场景区域的跨视图深度一致性,避免了其他方法中常见的纹理和细节退化。GeoFix已展示出显著的改进,包括WorldScore 3D一致性提高39%,VBench质量得分提高4%。
-
AI视频生成更好地与人眼视觉皮层对齐
研究人员开发了一种新方法,通过将视频生成模型的内部表征与人眼视觉皮层活动进行比较来评估模型。他们发现,自回归(AR)视频扩散模型在生成未来视频帧时,比处理观察视频的模型更能与人眼视觉皮层对齐。与用于观察视频重建的低阶区域相比,这种对齐在未来生成中更高阶的视觉皮层区域更为明显。一项人类行为实验进一步支持了这些发现,显示出人们更偏好通过放大与视觉皮层活动更匹配的层来生成的视频。
-
新研究解决了视频扩散模型的效率和安全性问题
研究人员正在开发新方法来提高视频扩散模型的效率和质量。SplitMoE引入了一种分层架构,以更好地处理视频数据中的语义不平衡,在收敛速度和生成质量方面优于传统方法。PARK通过提高稀疏注意力中块检索的准确性来解决Diffusion Transformers中注意力的二次复杂度问题,从而实现更好的质量-效率权衡。DeCoPrune和Self-Aligned Forcing (SAF) 解决了自回归视频扩散中的挑战,其中DeCoPrune…
-
新研究解决AI中奖励模型的不稳定性和效率问题
研究人员正在开发新方法来改进用于大型语言模型和扩散模型中的奖励模型的训练和鲁棒性。一种名为“密度感知奖励聚合”(DARA)的方法,通过根据奖励的活动密度对其进行加权来解决多奖励强化学习中不均衡的学习进展问题,从而在工具调用和数学推理等任务上实现更快的收敛。另一个研究重点是缓解奖励模型中的偏好不稳定性,例如使用稀疏自编码器(SAEs)识别和抑制导致矛盾判断的脆弱特征。针对视频理解,已创建了一个新的基准(VURB)和数据集(VUP-35K…
-
DSAQuant框架改进视频扩散模型量化
研究人员开发了DSAQuant,一个专为视频扩散模型(VDMs)设计的量化感知训练(QAT)新框架。现有的QAT方法在VDMs上表现不佳,尽管能保留语义,但常常会损害视觉细节和清晰度。DSAQuant通过将量化与视频去噪的阶段性相结合来解决这个问题,优化早期步骤以获取结构,优化后期步骤以进行细节重建。实验表明,DSAQuant在激进量化下显著优于当前基线,将VBench分数提高了多达6.60,同时保持了文本-视频对齐。
-
研究发现:视频扩散模型可有效扩展训练曝光度
研究人员对专门用于自动驾驶应用的视频扩散模型进行了全面的可扩展性定律分析。他们的研究涵盖了从100万到90亿参数的模型,并在最多5,500小时的驾驶数据上进行了训练,发现与在计算量有限的情况下单纯增加模型大小相比,增加训练曝光度能更有效地显著提高模型性能。然而,更大的模型仍然实现了更低的渐近损失,这表明在拥有足够资源的情况下,模型大小对于最优扩展仍然至关重要。该研究最终训练了一个90亿参数的模型,据报道该模型在nuScenes基准测试…
-
AI进展解决视频生成一致性和速度问题
近期在AI驱动的视频生成领域的研究侧重于提高一致性和效率。ContextAnyone通过将参考图像视为共享扩散Transformer中的显式锚点来解决角色一致性问题,防止嘈杂的视频特征影响身份保持。FlashRender通过表示对齐和均值流目标来加速生成式视频渲染,以显著降低的采样成本实现高质量合成。Temporal Context Routing (TCR) 通过精确对齐脚本时间与时间轴来增强脚本驱动的音频-视频生成,大幅减少镜头切…
-
DreamHand框架重新利用视频扩散模型进行3D手部运动恢复
研究人员开发了DreamHand,一个新框架,它重新利用视频扩散模型来改进从自我中心视频中恢复3D手部运动。该方法通过使用确定性几何编码器来解决物体遮挡和手部离开画面等挑战。DreamHand在多个基准测试中取得了最先进的成果,显著降低了度量手部轨迹恢复的误差,尤其是在考虑手部不可见的情况下。
-
AvatarDynamizer 将静态 3D 化身转换为动态 4D 版本
研究人员开发了 AvatarDynamizer,这是一种新颖的生成方法,旨在将静态 3D 化身转换为动态、逼真且多视图一致的 4D 化身。该方法通过将姿态相关的表面动力学嵌入到动态纹理贴图中,克服了现有方法的局限性,使其能够与预先训练的视频扩散模型兼容。该系统将这些纹理解码为 3D 高斯以进行渲染,并收集了一个新的大规模数据集来支持其训练和评估。
-
AnyTalk 使用视频扩散模型进行 3D 语音动画
研究人员开发了 AnyTalk,一种为任意角色创建 3D 语音动画的新方法,无需现有的动画数据。该方法通过一种称为特定角色微调(CsF)的过程来调整预训练的视频扩散模型。然后,该方法从合成的说话头视频中估计混合形状参数,以生成唇形同步动画,从而大大减少了手动工作量。还开发了一个名为 AnyTalk_RT 的实时版本,以实现更快的性能。
-
新的视频世界模型以更少的参数外推物理定律
研究人员开发了潜在动力学推理(LDR),一种新颖的视频世界模型方法,将运动学动力学集成到结构化潜在空间中。与现有的视频扩散模型相比,该方法允许模型以显著更少的参数和更快的推理时间,在外推物理定律方面超越其训练数据。LDR在物理基准测试中得到了验证,证明了在分布内和分布外场景之间的误差差距得到了实质性减少,并且即使在训练数据发生严重偏移的情况下也显示出泛化能力。
-
新的AI方法解决了视频反射的移除和生成问题 · 追踪4个来源
研究人员开发了处理视频反射的新颖方法,解决了移除不需要的反射和生成逼真镜面反射的挑战。一种名为S2R-Synthesis的方法使用基于物理的模拟来创建成对的反射和无反射视频,从而能够训练S2R-Removal,这是一个基于扩散的视频去反射模型,实现了最先进的性能和快速推理。同时,MirrorWorld框架通过语义关系蒸馏和几何变换对齐来模拟场景到镜面的关系,解决了镜面反射的生成问题,提高了反射重建质量,并为该任务树立了新的基准。
-
新的 DAR 方法使视频模型能够渲染 4D 场景
研究人员开发了 DAR,这是一种新颖的方法,使预训练的视频扩散模型能够充当 4D 渲染器。该方法使用动画网格、相机轨迹和参考图像来约束这些模型,从而实现考虑相机运动和内部对象动画的场景生成。DAR 投影一个神经 4D G-缓冲区,其中包含跟踪、世界位置和法线信息,然后通过加宽的控制适配器将其集成到模型中。在 DAR-4D 基准测试上的评估表明,与 Wan2.2-Depth 等现有方法相比,PSNR、SSIM 和 LPIPS 有显著提高。
-
AgentHOI框架利用多智能体推理生成人体-物体交互视频
研究人员推出AgentHOI,一个用于生成人体-物体交互视频的新颖框架。该系统采用多智能体推理来弥合文本描述与动作的物理执行之间的差距,超越了依赖显式运动控制的现有方法。AgentHOI通过隐式对齐策略增强了文本到运动的理解,能够在推理过程中无需显式运动输入即可合成逼真的交互。该框架在交互自然性、物体外观保持性和遵循复杂文本指令方面取得了显著改进。
-
MagicPrompt 为视频生成提供超轻量级调优
研究人员推出 MagicPrompt,一个旨在提高视频生成模型效率的新框架。该方法采用注意力嵌入式提示调优(Attention-Embedded Prompt Tuning),使用的参数比传统微调少得多,同时保留了模型的预训练知识。此外,MagicPrompt 还结合了双空间奖励反馈优化(Dual-Space Reward Feedback Optimization)来稳定条件引导任务的训练。实验表明,MagicPrompt 以不到 …