Memory Maze

新的RAD框架通过全局记忆和局部注意力增强长视频生成

研究人员引入了一个名为循环自回归扩散（RAD）的新框架，旨在改进长视频生成。RAD将时间循环神经网络（RNN）层（特别是LSTM）集成到扩散Transformer模型中，以增强长视频序列的记忆压缩和检索。这种方法解决了先前模型使用滑动窗口注意力所存在的局限性，这些模型由于遗忘和时空不一致性而在长期一致性方面遇到困难。在Memory Maze和Minecraft数据集上的实验表明，RAD在生成具有全局记忆和局部注意力的长视频方面是有效的。