BirdDreams

BirdDreams 使用双流视频扩散生成逼真的驾驶场景

研究人员开发了BirdDreams，一种新颖的驾驶世界模型，可同时生成视角视频和鸟瞰图（BEV）示意图。这种双流方法利用两个具有联合注意力的视频扩散Transformer，使每个流能够相互告知，从而增强了生成驾驶场景的逼真度和可信度。BirdDreams 可以在不需要高清地图或显式自我行为条件的情况下，准确地跟踪输入的自我轨迹并预测周围交通的反应，在保真度和逼真的行为生成方面均优于以前的模型。