M-CONet

WeatherOcc3D利用VLM提升恶劣天气下3D预测能力

研究人员开发了一个名为WeatherOcc3D的新框架，该框架利用视觉语言模型（VLMs）来改善恶劣天气条件下的3D语义占用预测。该系统利用CLIP的潜在空间和特定于天气的文本嵌入，动态调整摄像头和LiDAR传感器数据的融合。这种自适应方法在晴朗的白天优先考虑摄像头特征，在下雨的夜晚优先考虑LiDAR特征，在nuScenes数据集上的表现显著优于传统的融合方法。