Rotated MNIST

REViT 为 Vision Transformers 注入旋转等变性，无需位置编码

研究人员开发了 REViT，一种新颖的方法，它在不依赖复杂位置编码的情况下，为 Vision Transformers (ViTs) 注入了旋转和反射等变性。通过使用“提升”层和群卷积自注意力 (G-CSA)，REViT 在更高维度的空间中处理输入图像，该空间固有地捕获了方向信息。该方法在各种数据集上的表现明显优于传统方法和标准 ViTs，展示了卓越的准确性和效率。