Insect Biodiversity

新的STN框架使用Transformer进行鲁棒的图像分类

研究人员开发了一个新的空间变换网络（STN）框架，该框架利用Transformer的强大功能，在旋转和缩放等空间变换下提高图像分类的准确性。这种新颖的方法将仿射变换分解为可解释的基元，并在可适应的几何约束下进行回归，以防止训练不稳定。通过与分类主干共享权重，该框架产生的计算开销极小，并在昆虫生物多样性和医学成像基准测试中表现出卓越的性能。