Video Models
PulseAugur coverage of Video Models — every cluster mentioning Video Models across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究揭示视频模型中的“因果可写性”允许纠错
研究人员在视频模型中发现了一种称为“因果可写性”的现象，证明这些模型生成的物理上不正确的运动仍然可以被纠正。他们发现，即使模型产生的运动与观察到的数据相冲突，正确的运动仍然存在于模型中，并且可以通过有针对性的编辑来恢复。这种改写模型输出的能力显示了一个清晰的深度边界，表明模型何时已确定错误，但也表明在训练过程中，早期错误更容易纠正。
-
新的Principia基准揭示了视频AI模型中重大的物理推理差距
一个名为Principia的新基准已被开发出来，用于评估视频生成模型在物理推理方面的能力，特别关注牛顿物理学。该基准评估场景中物体之间的关系一致性，这与相机校准和帧率无关，解决了先前评估方法的局限性。研究发现，当前最先进的视频生成器在物理推理方面存在显著差距，尽管在VBench等其他基准上表现良好，但在Principia上的得分均未超过0.42。视觉语言模型也难以检测物理违规，这表明需要改进AI对物理定律的理解。
-
视觉提示工程增强视频模型推理能力
研究人员引入了一种名为视觉提示工程（VIPE）的新技术，该技术可自动修改图像以提高视频模型的性能。对于视觉推理任务，该方法比传统的基于文本的提示工程更有效。VIPE 为增强视频基础模型的能力提供了一种简单且计算效率高的方法。
-
新方法探究视频模型相机控制能力
研究人员开发了一种新颖的方法来控制视频生成模型中的相机运动，将相机控制视为几何引导而非隐式映射问题。该方法通过在去噪过程中对潜在特征进行可微分重采样来将相机控制重新构建为位移场。该技术能够有效地控制相机运动，同时最大限度地减少退化，并且无需额外训练即可应用于大多数视频扩散模型，从而作为探究其固有相机控制能力和偏差的工具。