Deepsight

DeepSight模型通过远期世界建模增强自动驾驶能力

研究人员开发了DeepSight，一种用于端到端自动驾驶系统的新型世界模型，通过在鸟瞰图（BEV）空间中预测未来状态来增强决策能力。该模型集成了视觉-语言模型（VLM）架构和一个专为驾驶场景设计的特殊视觉推理模块。DeepSight还包含一个自适应文本推理机制，该机制利用社会知识来提高在具有挑战性的长尾情况下的性能，并在Bench2drive基准测试中取得了最先进的成果。