Video Representation Regularization

视频扩散模型因表示坍塌而遭受复合误差

研究人员发现了一个关键机制，解释了视频扩散模型中复合误差的产生原因，该误差会降低长生成序列中的帧质量。他们发现这种误差累积与模型内部表示的维度坍塌密切相关，导致这些表示的有效秩急剧下降。与典型的扩展范例相反，仅仅增加训练数据并不能提高模型对此类误差漂移的抵抗力。为了解决这个问题，该团队开发了一种新颖的视频表示正则化技术，该技术可以稳定潜在表示并减少迭代误差累积，从而在VBench基准测试中显著提高视频质量指标。