Sparse All-Layer Connector

新的SALC方法增强了用于语义分割的基础模型融合

研究人员开发了一种稀疏全层连接器（SALC），通过允许一个基础模型中的层访问另一个基础模型的前置层信息来改进领域泛化语义分割。该方法解决了现有方法将融合限制在深度对齐层上的局限性，认识到不同的基础模型可能具有不同的表示层次和领域敏感性。SALC自适应地选择信息层的一个稀疏子集，并使用候选Dropout正则化来增强稀疏性和鲁棒性，在各种模型组合和评估设置中展示了改进的泛化能力。