MagicFuse

MagicFuse框架从单个可见光输入生成跨光谱图像

研究人员开发了MagicFuse，一个新颖的单图像融合框架，可以从单个低质量可见光图像生成全面的跨光谱场景表示。该方法通过使用扩散模型来增强内光谱知识并生成跨光谱知识，将传统的数据级融合扩展到知识层面。该框架整合了来自扩散流的概率噪声，并应用视觉和语义约束，以确保输出既适合人类观察，也适合下游的语义决策。实验表明，尽管MagicFuse仅使用一张输入图像，其性能仍可与最先进的多模态融合方法相媲美或更优。