MTVDiff

MTVDiff框架通过多模态集成增强热红外到可见光人脸转换

研究人员推出了一种新颖的多模态潜扩散框架MTVDiff，旨在增强热红外到可见光人脸转换。该方法通过整合深度和文本信息，解决了几何不连续和身份退化等挑战。关键技术贡献包括用于特征提取的双分支交叉注意力融合模块、用于语义引导的门控文本到视觉特征对齐机制，以及用于自适应多模态先验集成的空间特征变换。在MCXFace和SpeakingFaces数据集上的实验表明，MTVDiff在图像质量和人脸验证性能方面显著优于现有方法。