End State Conditioned Video Evolution

SafeGen框架为自动驾驶VLM生成安全关键场景

研究人员开发了SafeGen，一个新颖的目标条件扩散框架，旨在为自动驾驶系统使用的视觉语言模型（VLM）生成安全关键场景。该方法使用预定义的灾难性终态作为监督信号，引导生成朝着高风险结果发展的逼真视频轨迹。SafeGen利用VLM推断人车交互中的潜在漏洞，并将其转化为物理上可行的视觉动态，从而提高VLMAD的理解和决策能力。实验表明，SafeGen显著提高了基于VLM的自动驾驶系统的性能，从而提高了安全评估分数和实际驾驶性能。