研究人员开发了一种新颖的方法,通过分析Vision Transformers (ViTs) 的学习参数的几何形状来检测其分布外 (OOD) 数据。该方法涉及使用奇异值分解 (SVD) 对每个仿射层的权重矩阵进行分解,并将激活投影到前导奇异向量上。这个过程会生成贯穿网络的类条件典型性分数,形成典型性图谱。从这些图谱中,派生出两个新分数:原型对齐分数 (PAS) 和多层软投票 (MLSV),分别用于衡量与类原型的一致性和跨层共识。 AI
影响 这项研究可以通过更好地检测不熟悉或异常的数据输入来提高Vision Transformer模型的鲁棒性和可靠性。
排序理由 该集群包含一篇研究论文,详细介绍了一种分析人工智能模型表示的新方法。
- arXiv
- CIFAR-100
- DagsHub
- Hugging Face
- Leandro De Souza Rosa
- Multi-Layer Soft Voting
- Prototype Alignment Score
- singular value decomposition
- Vision Transformers
- ViT-B/16
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →