Self-Imagination Fine-Tuning

新研究探索使用扩散模型进行先进的视频生成和处理

研究人员正在探索使用扩散模型来改进视频生成和处理的先进技术。一种方法是将状态空间模型（SSM）与视频扩散模型集成，以提高效率并处理更长的序列，在内存使用和性能方面优于基于注意力的方法。其他研究则侧重于通过使用扩散 Transformer 和自适应来提高视频重新照明中的时间一致性，并通过利用预训练的视频扩散模型从视频中重建 4D 手部运动。此外，还在开发用于高效视频恢复和鲁棒点跟踪的方法，方法是调整扩散模型的特征和训练策略。