VBench-Long
PulseAugur coverage of VBench-Long — every cluster mentioning VBench-Long across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
MLLM 通过语义校正和视觉规划增强文本到视频生成
两篇新的研究论文探讨了通过整合多模态大语言模型（MLLM）和扩散模型来增强文本到视频生成。第一篇论文介绍了一个框架，该框架将 MLLM 反馈直接注入扩散采样循环中进行中间生成语义校正，在不改变模型参数的情况下提高对齐度和保真度。第二篇论文系统地研究了 MLLM 和扩散 Transformer（DiT）的融合，发现自回归生成且显式以 DiT 为条件的离散语义视觉标记比提示精炼更有效。这种称为 BiVidGen 的方法展示了改进的语义对齐…
-
Alaya-EVOKE 推出交互式世界模型，用于开放式视频生成
研究人员推出了 Alaya-EVOKE，一个专为开放式视频生成设计的交互式世界模型。该模型利用外部持久内存和一种新颖的长时域教师来实现低延迟的响应式生成。Evoke 通过外部化世界状态并重新设计教师以实现扩展监督，解决了维护历史和实现低延迟交互的挑战，在 WBench 等基准测试中取得了最先进的性能。
-
新框架通过自适应资源分配增强长视频生成
研究人员开发了一个名为“惊喜强制”（Surprise Forcing）的新框架，以改进扩散模型生成长视频的性能。该方法解决了当前流式自回归扩散模型在有界上下文和固定去噪时间表方面的局限性。惊喜强制通过使用“惊喜门控记忆库”（Surprise-Gated Memory Bank）来总结被驱逐的帧，以及一个基于块难度的去噪步骤调整的“惊喜感知去噪”（Surprise-Aware Denoising）过程，来优化资源分配。在VBench等基…
-
新方法提升自回归视频生成质量和效率
研究人员正在开发新方法来改进自回归视频生成，重点关注效率和质量。一种名为 One-Forcing 的方法结合了 DMD 目标和 GAN 损失，实现了稳定、高质量的一步视频生成，在基准测试中优于现有的一步法。另一种技术 DySink 使用基于检索的框架和动态帧接收器来保持自适应的远程上下文，并防止长视频生成崩溃。此外，对抗性流蒸馏 (AFD) 提供了一种策略内方法，可以将异构黑盒视频生成器蒸馏成高效的自回归学生模型，而无需教师分数。
-
Pyramid Forcing 通过头部感知的缓存策略改进长视频生成
研究人员推出了一种新颖的 KV 缓存策略 Pyramid Forcing，旨在提高长视频生成的质量。该方法通过认识到模型中不同的注意力头对历史帧有不同的依赖关系，从而解决了自回归视频合成中累积误差的问题。Pyramid Forcing 将这些头部分为 Anchor、Wave 和 Veil 类型，并为每种类型分配定制的缓存策略，以优化上下文保留并减少在较长生成范围内的退化。实验证明，在运动动力学、视觉保真度和语义一致性等视频质量指标方面…