Multimodal Image Fusion

新的自监督学习范式增强了多模态图像融合

研究人员推出了一种新颖的多模态图像融合（MMIF）自监督学习范式，解决了缺乏真实分解特征的问题。所提出的方法将特征分解从二维图像级监督重新构建为一维信号级优化问题，使用积分约束来实现更稳定的训练。该方法包含一个两阶段框架：首先，进行信号级分解和图像级重建的借题任务，然后，融合独特和共同的特征以生成最终的融合图像。实验证明了在代表性MMIF任务上的最先进性能。