OmniRS5M

新的OmniRSCLIP框架将语言-图像模型应用于多源遥感数据

研究人员开发了OmniRSCLIP，一个新颖的对比学习框架，旨在将现有的语言-图像模型应用于多源遥感数据。该框架将CLIP的能力从RGB输入扩展到包括SAR、多光谱成像和高光谱成像等异构传感器。通过采用谱-空间基分解和谱-上下文感知对比学习方案，OmniRSCLIP有效地将不同的传感器数据统一到统一的图像-文本语义空间中，在检索、零样本分类和语义定位任务中表现出色。