Utku Ozbulak

新方法检测 Vision Transformers 中的虚假相关性

研究人员开发了一种新方法来检测 Vision Transformers 中的虚假相关性，这些虚假相关性是模型可能利用的、非预期的模式。这个基于 token 的诊断流程应用了留一 token 移除技术，以量化模型对非核心视觉线索的依赖程度。在 ImageNet 数据集上的实验证明了该流程识别这些虚假相关性的能力，表明训练方法显著影响模型的易感性。该研究还强调了此类线索的常见来源，如水印和背景伪影，并包含了一个关于浸润性乳腺肿块分类的案例研究。