新的多重叠头自注意力提升视觉 Transformer 性能

研究人员推出了一种名为多重叠头自注意力（MOHSA）的新机制，旨在增强视觉 Transformer。与隔离注意力头的标准多头自注意力（MHSA）不同，MOHSA 允许查询、键和值在相邻头之间进行软重叠划分。这种注意力计算中的头间通信可以改善特征表示。实验表明，MOHSA 在 CIFAR-10、CIFAR-100、Tiny-ImageNet 和 ImageNet-1k 等多个基准数据集上提供了性能提升，计算成本仅略有增加。 AI

影响 引入了一种新的注意力机制，可以提高视觉 Transformer 模型在效率和性能方面的表现。

排序理由 该集群描述了 arXiv 提交的一篇研究论文中提出的新机制。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• arXiv
• CIFAR-10
• CIFAR-100
• ImageNet-1k
• Multi-Overlapped-Head Self-Attention
• Tianxiao Zhang
• Tiny-ImageNet
• Vision Transformers

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →