抑制自注意力提升 Vision Transformer 的聚焦能力

研究人员推出了一种新颖的 Vision Transformer (ViTs) 机制——抑制自注意力 (ISA)，旨在提高特征选择性并减少对虚假关联的依赖。与仅使用正注意力值的标准自注意力不同，ISA 结合了负注意力分数，以抑制不相关的特征并聚焦于感兴趣的对象。在 ImageNet-1k 和 COCO 等数据集上的实验，以及鲁棒性基准测试表明，ISA 增强了以对象为中心的特征选择性，并改善了分布外泛化能力。 AI

影响 这项研究通过提高计算机视觉模型聚焦于相关特征和忽略干扰的能力，有望带来更鲁棒、更可靠的计算机视觉模型。

排序理由 介绍 Vision Transformer 新颖机制的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• COCO
• ImageNet-1k
• Inhibited Self-Attention
• Peter Van Der Wal
• Vision Transformers

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →