Madison, WI, USA

新框架实现视觉语言模型（VLM）引导的强化学习在自动驾驶中的零样本迁移

研究人员开发了Sim2Real-AD，一个旨在弥合仿真与真实世界自动驾驶之间差距的新型框架。该系统利用视觉语言模型（VLMs）来指导强化学习策略，解决了将仿真训练的智能体部署到实体车辆上的挑战。该框架将仿真到真实（Sim-to-Real）的差距分解为感知/动力学和任务/几何组件，从而允许策略在无需额外训练数据的情况下实现到真实世界场景的零样本迁移。