研究人员开发了一种新颖的多模态图像融合(MMIF)约束关系监督范式。该方法将监督从空间域转移到学习到的关系空间,解决了使用代理真实值(surrogate ground truths)的现有方法的对齐问题。该系统利用DINO和CLIP等冻结的预训练表示模型,采用可学习的特征适配器来推断共享性、主导性和协调半径等关系参数,然后定义三个与MMIF目标一致的损失。实验表明,在各种融合网络骨干上都有显著改进,表明MMIF的监督策略更有效。 AI
影响 为多模态图像融合引入了更一致的监督策略,有望提高AI应用中融合图像的质量和准确性。
排序理由 详细介绍图像融合新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →