研究人员开发了SWAM(显著性加权非对称合并),一个旨在提高视觉Transformer(ViTs)效率的新框架。SWAM通过在处理过程中减少Token数量来解决ViTs的计算成本问题。该方法结合了显著性感知机制,使用余弦相似度和显著性惩罚来选择Token,并通过非对称聚合优先处理更显著的Token。SWAM使用DeiT-Small骨干网络进行端到端训练,在CIFAR-100、TinyImageNet和ImageNet-100等各种图像识别基准测试中,显著降低了FLOPs并提高了速度,同时保持或提高了准确性。 AI
影响 这项研究提供了一种降低视觉Transformer计算成本的方法,有可能在资源受限的环境中更广泛地部署这些模型。
排序理由 该项目是一篇研究论文,详细介绍了一种提高视觉Transformer效率的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Bipartite Soft Matching
- CIFAR-100
- DeiT-Small
- ImageNet-100
- Saliency-Weighted Asymmetric Merging
- TinyImageNet
- Vision Transformers
- ViTs
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →