Peter Van Der Wal

抑制自注意力提升 Vision Transformer 的聚焦能力

研究人员推出了一种新颖的 Vision Transformer (ViTs) 机制——抑制自注意力 (ISA)，旨在提高特征选择性并减少对虚假关联的依赖。与仅使用正注意力值的标准自注意力不同，ISA 结合了负注意力分数，以抑制不相关的特征并聚焦于感兴趣的对象。在 ImageNet-1k 和 COCO 等数据集上的实验，以及鲁棒性基准测试表明，ISA 增强了以对象为中心的特征选择性，并改善了分布外泛化能力。