DiffAdapterVLA

新方法将轨迹规划集成到视觉语言模型中

研究人员开发了DiffAdapterVLA，一种将连续轨迹生成直接集成到视觉语言模型（VLM）骨干网络中的新方法。该方法将显式轨迹令牌注入选定的VLM层，使轨迹状态能够与不同深度的驾驶条件共同演变。通过递归地优化轨迹生成并使用非对称联合注意力，DiffAdapterVLA使现有的VLM能够以低延迟和最少的训练参数实现高效的连续规划能力，这在NAVSIM模拟中得到了证明。