FAD-ViT

新的视觉 Transformer 架构提升医学影像迁移学习能力

研究人员开发了一种新的视觉 Transformer 架构 FAD-ViT，它将全局注意力从空间 token 转移到特征 token。这种改变旨在提高在自然图像上训练的模型向医学影像任务的迁移能力，因为在医学影像中，纹理和特征相关性比物体布局更重要。在 23 项任务上的实验表明，FAD-ViT 显著增强了迁移学习，与标准的和通道注意力基线相比，在参数更少、计算量更少的情况下，收益提高了三倍，尤其是在纹理是主要区分信号的任务中。