AlignJEPA

AlignJEPA框架通过预测视觉语言对齐增强遥感模型

研究人员推出AlignJEPA，一个旨在改善遥感基础模型与自然语言之间对齐的新框架。该方法采用受JEPA启发的预测对齐方法，专注于从掩码视觉标记预测文本嵌入，而不是仅仅依赖全局对比对齐。AlignJEPA采用轻量级预测对齐网络、预训练的AnySat视觉编码器和RemoteCLIP文本编码器，展示了一条提高地球观测模型语言理解能力的参数高效途径。