研究人员开发了一种名为GradSkip的新方法，用于解释Vision Transformer（ViTs）的决策。与先前假设注意力头具有同等重要性并将跳跃连接视为简单路径的旧方法不同，GradSkip动态地对注意力头进行加权，并考虑了通过跳跃连接流动的相关性。在ImageNet1K和BloodMNIST上的实验表明，GradSkip在保持最先进的忠实度的同时，计算效率显著提高，所需的GFLOPs比现有方法少14倍以上。在基于Transformer的分割任务上的进一步测试证实了其改进的定位精度。 AI
影响 增强了Vision Transformer的可解释性，有望提高使用这些模型的AI系统的信任度和调试能力。
排序理由 该条目是一篇学术论文，详细介绍了一种用于Vision Transformer可解释性的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- BloodMNIST
- CatalyzeX
- DagsHub
- Gotit.pub
- GradSkip
- Hugging Face
- ImageNet1K
- ScienceCast
- Vision Transformers
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
