研究人员发现，特定的训练技术可以促进视觉 Transformer 的空间局部性。通过使用涉及 CutMix 和 ColorJitter 等数据增强以及标签平滑的“现代”协议，ViT 的早期层显示出更集中的注意力模式。一项消融研究表明，CutMix 是这种效应的主要驱动因素，与基线方法相比，显著降低了平均注意力距离。 AI
影响 像 CutMix 这样的训练协议可以通过促进局部注意力来提高视觉 Transformer 的效率和可解释性。
排序理由 该集群包含一篇详细介绍机器学习模型训练新发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
