DSRS-Net

新的DSRS任务和DSRS-Net架构改进了多模态大语言模型在驾驶场景中的分割能力

研究人员推出DSRS，一项专注于驾驶场景推理分割的新任务，要求模型理解隐式指令、空间关系和交通规则，以生成准确的分割掩码。为解决此问题，他们开发了DSRS-Net，一种将几何特征与多模态大语言模型（MLLMs）相结合的架构，以增强超越RGB预训练的理解能力。该方法旨在增强几何、上下文和语言信息的融合，以在驾驶和一般语言驱动的分割任务中取得更好的性能。