Multimodal Trajectory Distillation

Drive-JEPA框架通过新颖的视频预训练推动端到端自动驾驶发展

研究人员推出Drive-JEPA，一个结合视频联合嵌入预测架构（V-JEPA）和多模态轨迹蒸馏的端到端自动驾驶新框架。该方法将V-JEPA应用于海量驾驶视频的ViT编码器预训练，生成对轨迹规划至关重要的预测表示。该系统还包含一个以提案为中心的规划器，它蒸馏各种模拟器生成和人类轨迹，并使用动量感知选择机制来确保稳定和安全的驾驶行为。在NAVSIM基准测试中，Drive-JEPA取得了新的最先进成果。