CSMAE

CSMoE：一种高效的具有软专家混合的遥感基础模型

研究人员开发了CSMoE，一种用于遥感的新型基础模型，它利用软专家混合（MoE）机制来提高计算效率。这种方法允许对不同模态进行专门处理，同时保持共享的跨传感器表示学习，从而降低了训练和推理过程中的复杂性。此外，CSMoE采用了新颖的训练数据采样策略，从大型档案中精心挑选了一个多样化但缩减的数据集，在不牺牲表示能力的情况下进一步降低了预训练成本。实验表明，CSMoE在场景分类和语义分割等任务上的表现与现有的最先进模型相当，同时所需的计算…