Video DiT
PulseAugur coverage of Video DiT — every cluster mentioning Video DiT across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的自动驾驶研究解决了注意力限制并增强了世界模型 · 跟踪了 6 个来源
arXiv 上发表的多篇研究论文探讨了自动驾驶系统的进展,重点是改进感知、预测和决策。一项研究挑战了自动驾驶汽车中对注意力机制的依赖来确定物体相关性,认为它们提供的是相关性而非因果性见解,尤其是在复杂场景中。另一篇论文引入了一个闭环交互式世界模型,通过将行为建模与视觉渲染相结合,增强了行为真实感和视觉保真度。此外,研究提出了使用时空注意力进行实例预测的新架构 BEVPredFormer,以及用于端到端自动驾驶中一次性联邦学习的 Fed…
-
LinMorph 方法学习权重变换以实现高效的视频 DiT 线性化
研究人员开发了 LinMorph,一种用于高效线性化预训练视频扩散 Transformer (Video DiT) 的新颖方法。与之前专注于注意力替换后恢复质量的方法不同,LinMorph 解决了初始化的关键瓶颈。它学习跨参数变形来转换 softmax 到线性的权重,使目标门控 DeltaNet (GDN) 参数能够从多个预训练投影中提取。与随机初始化或启发式权重重用相比,该技术能够实现更快的恢复和更好的生成质量,并且可以在短视频片段…
-
新的ForeWAM模型在无需未来视频解码的情况下预测机器人动作
研究人员开发了ForeWAM,一种新颖的世界动作模型(WAM),它通过以预测的未来状态为条件来增强机器人动作生成,而无需显式进行未来视频解码。该方法利用了Future-KV机制,该机制处理当前的视觉信息和未来的随机槽以生成层级键值状态。这些状态在整个动作去噪过程中被重复使用,使模型能够捕捉由交互引起的过渡,如物体运动和任务进展。ForeWAM在LIBERO和LIBERO-Plus等机器人基准测试中取得了高成功率,证明了其在动态环境中的…
-
新EmoWorld框架提供可控情感视频生成
研究人员开发了EmoWorld,一个旨在增强视频生成中情感控制的新框架。该系统将通常纠缠在现有视频生成模型中的全局氛围、语义情感线索和时间进程解耦。通过与冻结的流匹配视频扩散 transformer (Video DiT) 集成,EmoWorld 使用视觉氛围引导 (VAS)、语义情感引导 (SAS) 和时间情感引导 (TAS) 来独立控制这些情感元素。在 Wan2.2 数据集上的评估显示,情感一致性和时间一致性有显著提高,EmoWo…