Video Diffusion Models
PulseAugur coverage of Video Diffusion Models — every cluster mentioning Video Diffusion Models across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
InverseCrafter框架可在无需VDM微调的情况下实现高效视频重捕获
研究人员推出了一种新颖的框架InverseCrafter，用于在无需对预训练视频扩散模型（VDM）进行大量微调的情况下生成视频的新视角。该方法将视频重捕获视为潜在空间中的逆问题，利用轻量级的潜在掩码编码器来避免计算成本高昂的训练和灾难性遗忘问题。InverseCrafter通过以最小的额外推理成本保留原始VDM的生成能力，实现了高效、高保真的视频修复和编辑。
-
新研究探索使用扩散模型进行先进的视频生成和处理
研究人员正在探索使用扩散模型来改进视频生成和处理的先进技术。一种方法是将状态空间模型（SSM）与视频扩散模型集成，以提高效率并处理更长的序列，在内存使用和性能方面优于基于注意力的方法。其他研究则侧重于通过使用扩散 Transformer 和自适应来提高视频重新照明中的时间一致性，并通过利用预训练的视频扩散模型从视频中重建 4D 手部运动。此外，还在开发用于高效视频恢复和鲁棒点跟踪的方法，方法是调整扩散模型的特征和训练策略。
-
NaviCache 通过新颖的自校准技术加速视频生成
研究人员推出了一种名为 NaviCache 的新颖方法，旨在通过解决视频扩散模型 (VDM) 的计算成本来加速视频生成。与依赖离线校准或瞬时近似的先前方法不同，NaviCache 采用了一种测试时间自校准技术。它将特征演化建模为惯性导航系统 (INS) 问题，自适应地跟踪特征变化及其潜在漂移，从而实现有误差界限的计算跳过。在 HunyuanVideo 和 Open-Sora 等数据集上的实验表明，NaviCache 提高了计算跳过的准…
-
新的REINS方法在无需重新训练的情况下引导视频扩散模型实现安全
研究人员开发了一种名为REINS（REpresentation-space INference-time Safety steering，表示空间推理时安全引导）的新型无需训练的方法，用于对齐视频扩散模型并防止生成不安全内容。该技术通过在推理时引导模型的内部表示来实现，而无需昂贵的安全微调。REINS识别模型隐藏状态中区分安全与不安全内容的特定方向，并通过将此方向添加到中间层，以最小的计算开销将有害生成重定向到安全替代方案。该方法已在…
-
新研究通过效率、隐写术和动态场景渲染来推进3D高斯溅射
近期研究通过各种创新技术正在推进3D高斯溅射（3DGS）的能力。论文探讨了在资源受限平台上优化3DGS的效率，开发用于在3DGS模型中嵌入秘密场景的通用隐写术框架，以及通过语义引导的变形正则化来增强动态场景渲染。其他进展包括由3DGS引导的综合2D-3D修复，具有降低开销的移动优化3DGS，以及用于卫星图像的保持几何形状的生成细化。此外，研究还侧重于具有受控容量的多视图风格化，并通过稀疏输入视图来提高3DGS性能。
-
新的SARA方法提升视频扩散模型对齐度
研究人员开发了SARA，一种通过将监督集中在视频的语义相关部分来改进视频扩散模型的新方法。该方法利用文本条件显著性来确定视频生成过程中哪些令牌对对于与提示对齐最重要。在评估中，SARA与现有方法相比，在文本对齐和运动质量方面均有所提高。
-
Rein3D框架使用扩散模型生成一致的3D室内场景
研究人员开发了Rein3D，一个用于生成详细3D室内场景的新框架。该系统结合使用3D高斯溅射和视频扩散模型来重建完整的360度环境。Rein3D通过提高全局一致性和推断缺失的几何形状，克服了现有方法的局限性，并产生了照片级的逼真效果。
-
新基准 YoCausal 测试视频模型因果理解能力
研究人员推出 YoCausal，这是一个旨在评估视频扩散模型（VDMs）因果理解能力的新型基准。该基准受认知科学原理启发，利用时间反转的真实世界视频创建自然的反事实样本。YoCausal 包含两个层面：反向惊喜指数（RSI）用于衡量时间感知能力，因果认知指数（CCI）则使用视觉语言模型（VLM）来区分真正的因果推理与单纯的时间模式过拟合。对 13 个最先进的 VDM 的评估表明，它们感知时间流向的能力与真正的因果认知之间存在显著差距，…
-
DexSIM框架支持实时灵巧手-物体模拟
研究人员开发了DexSIM，一个使用统一因果视频扩散模型进行灵巧手-物体交互实时模拟的新框架。该系统通过两阶段训练过程，改进了长期空间一致性和记忆力，解决了现有方法的局限性。DexSIM在像素相似度、运动保真度和手部投影精度方面取得了卓越的性能，实现了手部动作迁移等新应用，运行速度达到15.24 FPS。
-
新研究提升视频生成控制力和效率
研究人员正在开发新方法来改进视频生成模型，重点关注控制、效率和质量。一种名为LA-LQR的方法使用最优控制来引导视频生成模型，在保持视觉保真度的同时减少不期望的内容。另一个研究领域是通过蒸馏和低比特量化来压缩大型视频扩散模型（如Wan2.2），使其更易于部署。此外，新的框架正在出现，为视频生成提供显式的3D控制和感知，超越2D投影，以更好地捕捉复杂的场景动态和人物运动。
-
新的PREX框架实现了忠实的4D视频编辑
研究人员开发了PREX，一个新颖的、用于忠实4D视频编辑的框架，它解决了在合成新内容的同时保留原始区域的挑战。该方法识别并纠正了现有扩散模型中的“证据-角色不匹配”问题，该问题可能导致重影和不稳定的外推。PREX将视频体积分解为不同的角色（Preserve, Reveal, Expand），并使用一个区域感知适配器，该适配器带有校准的置信度提示，并且无需配对的编辑视频即可进行训练。还引入了一个新的基准PREBench来评估这些能力。
-
新方法提升视频扩散模型的效率和质量
研究人员正在开发新方法来提高视频扩散模型的效率和质量。几篇论文介绍了优化注意力机制的技术，例如稀疏注意力（LVSA、Veda）和线性注意力（ARL2），以降低计算成本并实现更长的视频生成。其他方法侧重于微调和偏好优化，例如用于时空区域对齐的LocalDPO和通过矢量化时间步长适应来实现时间控制的Pusa V1.0。此外，Q-ARVD解决了自回归视频扩散模型特有的量化挑战，而Bernini则统一了大型语言模型和扩散模型以实现语义规划和渲染。
-
新的 Diffusion-APO 方法将视频扩散模型与用户意图对齐
研究人员推出 Diffusion-APO，一种用于将视频扩散模型与人类偏好对齐的新方法。该方法通过同步训练噪声与去噪路径，解决了训练噪声分布与现实世界推理之间的差距。Diffusion-APO 利用灵活的强化学习框架，支持多阶段对齐而无需标量奖励，与现有方法相比，在视觉质量和指令遵循方面表现更优。
-
新研究探讨了视频扩散模型的3D一致性、LoRA可迁移性以及统一框架。
研究人员开发了使用扩散模型改进视频生成的新方法。一种方法“几何强制”（Geometry Forcing）将3D表示与视频扩散模型相结合，以增强几何一致性和视觉质量。另一个框架UniVidX通过调整扩散先验以适应各种任务和模态（包括内建图和RGBA图层），实现了多模态视频生成的统一。此外，还提出了一种名为“聚类感知谱仲裁”（Cluster-Aware Spectral Arbitration, CASA）的无数据方法，以解决将LoRA迁…