autoregressive video diffusion
PulseAugur coverage of autoregressive video diffusion — every cluster mentioning autoregressive video diffusion across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究解决了视频扩散模型的效率和安全性问题
研究人员正在开发新方法来提高视频扩散模型的效率和质量。SplitMoE引入了一种分层架构,以更好地处理视频数据中的语义不平衡,在收敛速度和生成质量方面优于传统方法。PARK通过提高稀疏注意力中块检索的准确性来解决Diffusion Transformers中注意力的二次复杂度问题,从而实现更好的质量-效率权衡。DeCoPrune和Self-Aligned Forcing (SAF) 解决了自回归视频扩散中的挑战,其中DeCoPrune…
-
新方法通过解决模式崩溃和多样性损失来增强自回归视频生成
研究人员开发了两种新方法来改进自回归视频生成模型,解决了模式崩溃和多样性损失的问题。第一种方法Mask Forcing在自回滚过程中注入掩码的更清洁信号,以防止模型崩溃到少数模式,从而在不增加训练数据的情况下提高视觉质量。第二种方法Uncertainty DMD在生成过程的关键阶段引入不确定性,包括时间步扰动和随机缓存写入,以恢复通过少步蒸馏生成的视频中的多样性和运动动态。
-
Ring Forcing 框架增强了视频扩散模型中的长期记忆
研究人员推出了一种新颖的自回归视频扩散框架 Ring Forcing,旨在增强视频生成模型中的长期记忆能力。该框架通过采用环状训练策略、用于扩展历史上下文的压缩和时间步长组合方法,以及用于适应性记忆的稀疏 RoPE 机制,解决了物体持久性和记忆容量的限制。实验表明,Ring Forcing 在长达一分钟的持续时间内显著提高了连贯性和物体持久性,性能优于现有的最先进方法。
-
新方法提高了AI图像和视频生成的效率
研究人员开发了新的方法来提高扩散模型在图像和视频生成方面的效率。一种方法是光谱渐进扩散(Spectral Progressive Diffusion),它利用这些模型的频域特性,在去噪过程中逐步提高分辨率,从而在不牺牲质量的情况下显著加快速度。另一种技术是聚焦强制(Focused Forcing),它优化了自回归视频扩散模型中历史帧和注意力头的选择,实现了更快的生成和更好的文本对齐。此外,时序感知剪枝(Temporal Aware P…