研究人员推出了一种名为多重叠头自注意力（MOHSA）的新机制，旨在增强视觉 Transformer。与隔离注意力头的标准多头自注意力（MHSA）不同，MOHSA 允许查询、键和值在相邻头之间进行软重叠划分。这种注意力计算中的头间通信可以改善特征表示。实验表明，MOHSA 在 CIFAR-10、CIFAR-100、Tiny-ImageNet 和 ImageNet-1k 等多个基准数据集上提供了性能提升，计算成本仅略有增加。 AI
影响 引入了一种新的注意力机制，可以提高视觉 Transformer 模型在效率和性能方面的表现。
排序理由 该集群描述了 arXiv 提交的一篇研究论文中提出的新机制。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- CIFAR-10
- CIFAR-100
- ImageNet-1k
- Multi-Overlapped-Head Self-Attention
- Tianxiao Zhang
- Tiny-ImageNet
- Vision Transformers
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
