VBench
PulseAugur coverage of VBench — every cluster mentioning VBench across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
MobileWan：为移动部署优化的 5B 视频扩散模型
研究人员开发了 MobileWan，一个拥有 50 亿参数的视频扩散模型，可以在移动设备上运行。这是通过一种循环重构和结构化压缩技术实现的，该技术允许大型服务器级模型在内存受限的硬件上高效运行。MobileWan 使用一种循环蒸馏框架和因果线性注意力，以分块自回归的方式处理视频生成，保持时间连贯性。该模型还集成了注意力头剪枝和内存优化解码，使其能够在约 20 秒内生成 480x832 分辨率的 5 秒视频，以 83.79 的 VBen…
-
新框架对视频生成模型中的运动进行归因
研究人员开发了 Motive，一个新颖的基于梯度的框架，用于对视频生成模型中的运动进行归因。该方法将时间动态与静态外观分离开来，能够高效且可扩展地计算运动特定的影响。将 Motive 应用于文本到视频模型，可以识别出增强或削弱运动的有影响力的片段，从而指导数据策展以提高时间一致性和物理合理性。该框架通过提高运动平滑度和动态程度，在 VBench 上取得了 74.1% 的人类偏好胜率。
-
开源AI视频模型：性能声明与现实的差距
开源AI视频模型领域竞争激烈且常常具有误导性，各种模型在VBench等基准测试中声称性能优越。诸如Wan-2.2、Open-Sora 2.0和HunyuanVideo等模型被频繁提及，但其报告的指标可能无法准确反映实际能力或显存需求。虽然自托管有潜在优势，但对于某些用例，Runway ML等商业解决方案可能仍然是更好的选择。
-
新的自回归模型应对视频生成挑战 · 跟踪 8 个来源
研究人员正在开发新方法来改进自回归视频生成，解决时间不一致和交互失败等问题。事件驱动视频生成 (EVD) 引入了显式的事件信号来指导采样器，从而提高动态和空间准确性。GEAR（引导式端到端自回归）联合训练分词器和生成器，以实现更快的收敛和更好的特征连贯性。Drift-AR 通过利用预测熵来加速自回归和扩散阶段，从而实现单步解码。TempAct 使用规划器-执行器强化学习框架来增强时间合理性和指令遵循能力，而“Directing the…
-
PhysRAG 管道通过物理知识增强 AI 视频生成 · 已追踪 2 个来源
研究人员推出 PhysRAG，这是一个旨在提高 AI 生成视频物理准确性的新管道。该方法利用检索增强生成 (RAG) 来克服训练数据的局限性，将大型数据集筛选为 7,000 个高质量视频。PhysRAG 构建了一个物理视频数据库，并将这些知识整合到视频扩散模型中，在 PhyGenBench 和 VBench 等基准测试中，在视觉质量和遵守物理定律方面均取得了最先进的成果。
-
LearniBridge 通过可学习特征缓存加速扩散模型 · 已追踪 2 个来源
研究人员开发了 LearniBridge，一种通过优化特征缓存来加速 Diffusion Transformers (DiTs) 等扩散模型的新颖方法。该技术通过使用轻量级 LoRA 更新来校准多个时间步之间的中间表示，从而解决了现有方法中的误差累积问题。LearniBridge 仅需少量训练数据，并在各种图像和视频生成任务上实现了显著的加速，最高可达 5.87 倍，同时在基准测试中保持或提高了性能。
-
新研究探索用于大型语言模型的混合和稀疏注意力机制
研究人员正在探索优化大型语言模型中注意力机制的新方法，特别是用于处理长上下文。例如，HydraHead架构沿头轴混合了全注意力（FA）和线性注意力（LA），识别关键的FA头并协调分布差异。另外，StreamKL提供了一种快速且内存高效的方法来计算注意力蒸馏的Kullback-Leibler散度，减少了HBM占用空间，并支持在单个GPU上进行长上下文蒸馏。其他研究包括基于域分解的分层注意力和距离自适应表示，后者为远距离标记分配较低的维度…
-
新的SARA方法提升视频扩散模型对齐度
研究人员开发了SARA，一种通过将监督集中在视频的语义相关部分来改进视频扩散模型的新方法。该方法利用文本条件显著性来确定视频生成过程中哪些令牌对对于与提示对齐最重要。在评估中，SARA与现有方法相比，在文本对齐和运动质量方面均有所提高。
-
AMD新技术提升生成模型稳定性和保真度
研究人员开发了一种名为自适应匹配蒸馏（Adaptive Matching Distillation, AMD）的新框架，以提高少样本生成模型的稳定性和性能。AMD通过使用奖励代理来检测和逃离现有蒸馏方法难以处理的“禁区”问题。在SDXL和Wan2.1等图像和视频生成任务上的实验表明，AMD提高了样本保真度和训练鲁棒性，尤其是在SDXL上显著提升了HPSv2分数。
-
OmniGen-AR框架支持从多种输入进行通用图像生成
研究人员推出了一种新颖的自回归框架OmniGen-AR，用于通用图像生成。该统一模型可以从多种输入合成图像，包括文本、分割图、深度信息，甚至用于编辑或视频预测的现有图像。为防止条件令牌影响内容令牌，该框架采用了分离因果注意力（DCA）技术，该技术在训练期间分离注意力机制。OmniGen-AR在GenEval和VBench等基准测试中展示了最先进的性能。
-
新的Steady-Forcing框架改进了长时域自然视频生成 · 已追踪2个来源
研究人员开发了Steady-Forcing，一个旨在提高自回归扩散模型生成的长时域自然视频质量的新框架。该方法通过结合持久视觉锚点（V-Sink）和指数移动平均运动记忆（EMA-Sink）来解决场景布局漂移和运动抑制等常见问题。此外，该框架还纳入了块相对时间编码、周期性缓存净化以及从Wan2.1-14B教师模型进行蒸馏。评估表明，Steady-Forcing在扩展视频序列中增强了背景一致性和运动连续性，优于现有基线。
-
OSP-Next视频模型以效率提升实现83.73% VBench分数
研究人员推出了一种新颖的文本到视频生成模型OSP-Next，旨在提高效率和质量。该模型集成了稀疏注意力机制、一种将通信量比现有方法减少75%的新型稀疏序列并行（SSP）技术，以及用于稳定8位训练的HiF8量化。实验表明，OSP-Next的VBench得分为83.73%，优于Wan2.1基线，并在包括NVIDIA H200和Ascend 950PR GPU在内的各种硬件平台上实现了显著的速度提升。
-
新型量化方法大幅降低视频 Transformer 内存占用
研究人员开发了一种新的训练后量化框架，名为 Timestep-Aware SVDQuant-GPTQ，以解决大型视频扩散 Transformer 中的内存挑战。该方法专门针对 W4A4 量化，后者可显著节省内存，但由于激活值异常和依赖于时间步长的分布而变得复杂。该框架旨在处理 Wan2.2-I2V 的混合专家设计中两个专家的不同量化敏感性，从而在对 VBench 和成像质量等性能指标影响极小的情况下，将峰值 GPU 内存减少 59.3%。
-
新框架增强了AI视频生成中的物理真实感
研究人员开发了两个新框架Proprio和LaMo，旨在提高AI生成视频的物理真实感。Proprio是一种无需训练的方法，能够让现有的视频生成器对其输出进行自我评估和优化，以达到物理上的合理性。另一方面，LaMo从无标签的训练数据中提取运动线索，创建潜在的运动先验，从而增强视频生成模型中的物理一致性。这两种方法在解决AI视频违反基本物理原理的常见问题方面都显示出潜力。
-
新研究提升视频生成控制力和效率
研究人员正在开发新方法来改进视频生成模型，重点关注控制、效率和质量。一种名为LA-LQR的方法使用最优控制来引导视频生成模型，在保持视觉保真度的同时减少不期望的内容。另一个研究领域是通过蒸馏和低比特量化来压缩大型视频扩散模型（如Wan2.2），使其更易于部署。此外，新的框架正在出现，为视频生成提供显式的3D控制和感知，超越2D投影，以更好地捕捉复杂的场景动态和人物运动。
-
新方法提升自回归视频生成质量和效率
研究人员正在开发新方法来改进自回归视频生成，重点关注效率和质量。一种名为 One-Forcing 的方法结合了 DMD 目标和 GAN 损失，实现了稳定、高质量的一步视频生成，在基准测试中优于现有的一步法。另一种技术 DySink 使用基于检索的框架和动态帧接收器来保持自适应的远程上下文，并防止长视频生成崩溃。此外，对抗性流蒸馏 (AFD) 提供了一种策略内方法，可以将异构黑盒视频生成器蒸馏成高效的自回归学生模型，而无需教师分数。
-
新方法加速视频生成，提升质量和效率
研究人员开发了使用扩散模型加速视频生成的新方法。DOLLAR方法利用蒸馏和潜在奖励优化，实现了高质量、高多样性的少步视频生成，显著加快了过程。Stream-T1和Stream-R1专注于流式视频生成，采用测试时缩放和可靠性-困惑度感知奖励蒸馏，在不增加训练成本的情况下提高了时间一致性和视觉质量。