Super-Resolution Transformers

新的偏置方法使超分辨率Transformer能够更快、更具扩展性

研究人员开发了一种名为秩分解隐式神经偏置（RIB）的新方法，以提高超分辨率Transformer的效率。该技术允许这些模型利用像FlashAttention这样的硬件加速内核，而这之前受到相对位置偏置的依赖的阻碍。通过用低秩神经表示来近似位置偏置，RIB能够显著加快训练和推理速度，从而允许更大的窗口大小和块大小，最终在图像超分辨率等任务上获得更好的性能。