DriveWAM

DriveWAM模型将视频扩散模型应用于自动驾驶

研究人员开发了DriveWAM，一个用于自动驾驶的新模型，它改编了预训练的视频扩散Transformer。该模型将视频和动作流整合到单个序列中，利用视频生成的时序动态和运动先验。DriveWAM还整合了来自冻结的视觉语言模型的场景理解，并使用选择性记忆来保持长时规划能力。在基准数据集上的实验表明，其规划性能强大，并且随着数据量的增加具有可扩展性。