FuseAdapt

新研究解决缺失数据的多模态分割问题

两篇新研究论文介绍了使用多模态数据进行语义分割的先进技术，即使某些数据缺失也能实现。FuseAdapt 专注于在冻结的视觉基础模型中进行参数高效的融合，使用适配分支和跨模态路由来处理缺失的模态。VesperMUSE 通过可扩展的自注意力机制整合 RGB、热成像和表面法线数据，来解决不同光照条件下的分割问题。这两种方法都旨在提高在具有挑战性的现实场景中的鲁棒性和性能。