TerraMind Tiny

地理空间基础模型通过特征蒸馏实现效率提升

研究人员开发了一种称为特征蒸馏的方法，以创建更高效、更通用的地理空间基础模型。该技术允许较小的模型从预先训练好的大型模型中学习，从而显著降低计算成本和训练时间。蒸馏后的模型，如TerraMind Tiny、Small和Base，在九项PANGAEA任务上的表现优于同等规模的对应模型，甚至能媲美或超越已发布的更大模型。此外，还引入了一种名为TEDI的新型多专家方法，该方法结合了不同类型的图像模型，而无需配准数据，并在基准比较中取得了最先进的性能。