实体
CSMoE
CSMoE
PulseAugur coverage of CSMoE — every cluster mentioning CSMoE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
MEOX模型使用紧凑型多模态专家模型用于地球观测任务
研究人员推出了MEOX，这是一种专为地球观测任务设计的紧凑型多模态模型。该模型采用专家混合架构，参数量相对较少，并结合了传感器特定的适配器和元数据令牌来处理多样化的数据输入。MEOX在大规模数据集上进行了预训练，在各种基准的冻结迁移评估中表现出色，在分割和分类等任务上优于现有模型。
-
CSMoE：一种高效的具有软专家混合的遥感基础模型
研究人员开发了CSMoE，一种用于遥感的新型基础模型，它利用软专家混合（MoE）机制来提高计算效率。这种方法允许对不同模态进行专门处理，同时保持共享的跨传感器表示学习，从而降低了训练和推理过程中的复杂性。此外，CSMoE采用了新颖的训练数据采样策略，从大型档案中精心挑选了一个多样化但缩减的数据集，在不牺牲表示能力的情况下进一步降低了预训练成本。实验表明，CSMoE在场景分类和语义分割等任务上的表现与现有的最先进模型相当，同时所需的计算…