shortcut learning
PulseAugur coverage of shortcut learning — every cluster mentioning shortcut learning across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新方法解决深度神经网络中的遗漏变量偏差问题
研究人员开发了一种新方法来解决深度神经网络中的遗漏变量偏差问题，该问题发生在模型学习与无关变量的关联时。该方法基于广义可加模型，引入了控制变量来缓解“捷径学习”。该技术涉及使用交叉拟合和岭惩罚重新拟合预训练网络的最后一层，以正交化效应并对协变量分布进行边际化处理，从而产生无偏且可解释的预测。该方法已在模拟和真实神经影像数据上得到验证，与现有技术相比，预测性能有所提高。
-
标注粒度调节葡萄病害数据集中的捷径学习
一项新近发表在arXiv上的研究，调查了农业病害检测数据集中的捷径学习问题，特别关注了一个公共葡萄病害数据集。研究人员发现，标注的粒度显著影响模型性能，并非必然导致捷径学习，而是调节其严重程度。研究强调，标准的评估指标可能会掩盖这些问题，表明需要更稳健的数据筛选方法。
-
新的几何方法对抗深度神经网络中的捷径学习
研究人员开发了一种新颖的几何方法来对抗深度神经网络中的捷径学习，这种现象会导致模型记住虚假的相关性而不是因果机制。通过使用“拓扑审计器”，他们可以在没有手动干预的情况下数学上识别和修剪线性捷径。这种方法迫使网络利用更高的几何容量来学习道德表征，在减少人口统计学偏差方面优于 L1 正则化和 Just Train Twice 等现有方法。
-
用于ECG分类的AI模型可能依赖视觉伪影而非患者数据
研究人员分析了基于CNN的ECG图像分类中的捷径学习和聪明汉斯效应。该研究创建了六个特征集，包括原始图像、仅波形图像以及带有伪影的图像，以测试分类器是依赖波形信息还是非生理线索。通过计算捷径保留分数和预测一致性，研究团队评估了模型的透明度，并识别了潜在的聪明汉斯行为，评估分类器是学习临床上有意义的形态还是从报告布局、元数据或人工标记中学习捷径线索。
-
法律AI模型利用预测结果的“捷径学习”线索
一篇新发表在arXiv上的论文，在英国就业法庭的背景下，调查了法律判决预测（LJP）模型中的捷径学习。研究人员发现，当前基于事后司法材料训练的LJP模型，并非通过真正的预测，而是通过利用揭示结果的语言线索来获得高预测性能。研究表明，一个仅在已识别的4%泄露特征上训练的模型就能超越人类专家，这凸显了LJP系统中预测性能指标被夸大的担忧。然而，该论文提出，这种漏洞并非不可克服，因为即使在移除这些揭示结果的伪影后，模型仍然保留了预测能力。
-
新的数据策略提升了VLA模型在机器人领域的空间泛化能力
研究人员开发了一种新的数据收集策略，以提高用于机器人操作的视觉-语言-动作（VLA）模型的空间泛化能力。研究认为，仅仅增加视点数量是不够的，模型常常会因为关注虚假关联而陷入捷径学习。通过采用一种结合连续摄像机运动和多样化静态视点的混合方法，所提出的方法显著减少了这些虚假关联，从而提高了性能和训练稳定性。该策略已被证明有利于各种VLA模型架构，使其能够更好地泛化到未见的摄像机姿态和物体配置。
-
SpurAudio基准揭示少样本音频模型中的捷径学习缺陷
研究人员推出了SpurAudio，这是一个旨在评估少样本音频分类中捷径学习的新基准。该基准专门解决了模型如何利用前景声音和背景环境之间的虚假关联，这是标准评估中经常被忽视的一个因素。使用SpurAudio的研究表明，许多现有的少样本方法，包括大型预训练模型，在这些背景关联发生改变时，性能会显著下降，这表明在传统测试中不明显的脆弱性。