LM-SCIP

LLM驱动的框架提升自动驾驶感知能力

研究人员开发了一个名为LM-SCIP的新框架，该框架利用大型语言模型（LLMs）来增强自动驾驶系统的多模态融合。该框架通过动态适应不同的输入质量来应对融合视觉和雷达数据时面临的挑战。LM-SCIP使用LLM作为核心推理引擎，将视觉信息与雷达数据集成，尤其是在视觉输入受损的情况下。在nuScenes和VIRAT数据集上的实验表明，在不同信噪比下，该系统的定位和轨迹预测能力得到了显著提升，证明了其鲁棒性。