Tayyab Nasir

NAIMA框架利用语义先验改进深度超分辨率

研究人员推出了一种新颖的引导深度超分辨率（GDSR）框架NAIMA，该框架利用了预训练视觉Transformer的语义先验。与依赖表面法线或分割图等解码预测的先前方法不同，NAIMA将未解码的语义Token嵌入直接注入深度恢复过程。这种方法利用引导Token注意力（GTA）模块，可以在单一重建损失下实现语义信息与深度数据的隐式对齐，从而提高性能和跨数据集泛化能力。