MMEarth-Bench

新的MMEarth-Bench数据集突显了多模态模型在地理泛化方面的不足

研究人员推出了MMEarth-Bench，这是一个旨在评估地理空间机器学习中多模态预训练模型的新基准数据集。该数据集包含跨越12种模态的五个任务，数据分布在全球范围内，并包括了分布内和分布外的测试集。虽然现有的多模态预训练在有限数据场景下显示出鲁棒性的潜力，但该基准揭示了在地理泛化方面持续存在的弱点。为解决此问题，该研究提出了一种模型无关的测试时训练方法（TTT-MMR），该方法利用所有可用的模态进行适应，并在随机和地理测试集上均显示出改进。