Dilated Neighborhood Attention

新型Transformer架构提升图像恢复质量

研究人员开发了DiNAT-IR，一种用于高质量图像恢复的新型基于Transformer的架构。该模型通过引入扩张邻域注意力（DiNA）来解决Transformer中传统自注意力机制的计算成本限制。DiNA通过结合滑动窗口注意力和混合扩张因子，在全局上下文和局部精度之间取得平衡。为了进一步提高性能，DiNAT-IR包含一个通道感知模块，该模块在不影响像素级精度的情况下整合全局上下文，并在各种基准测试中取得了有竞争力的结果。