shortcut learning
PulseAugur coverage of shortcut learning — every cluster mentioning shortcut learning across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
用于ECG分类的AI模型可能依赖视觉伪影而非患者数据
研究人员分析了基于CNN的ECG图像分类中的捷径学习和聪明汉斯效应。该研究创建了六个特征集，包括原始图像、仅波形图像以及带有伪影的图像，以测试分类器是依赖波形信息还是非生理线索。通过计算捷径保留分数和预测一致性，研究团队评估了模型的透明度，并识别了潜在的聪明汉斯行为，评估分类器是学习临床上有意义的形态还是从报告布局、元数据或人工标记中学习捷径线索。
-
法律AI模型利用预测结果的“捷径学习”线索
一篇新发表在arXiv上的论文，在英国就业法庭的背景下，调查了法律判决预测（LJP）模型中的捷径学习。研究人员发现，当前基于事后司法材料训练的LJP模型，并非通过真正的预测，而是通过利用揭示结果的语言线索来获得高预测性能。研究表明，一个仅在已识别的4%泄露特征上训练的模型就能超越人类专家，这凸显了LJP系统中预测性能指标被夸大的担忧。然而，该论文提出，这种漏洞并非不可克服，因为即使在移除这些揭示结果的伪影后，模型仍然保留了预测能力。
-
新的数据策略提升了VLA模型在机器人领域的空间泛化能力
研究人员开发了一种新的数据收集策略，以提高用于机器人操作的视觉-语言-动作（VLA）模型的空间泛化能力。研究认为，仅仅增加视点数量是不够的，模型常常会因为关注虚假关联而陷入捷径学习。通过采用一种结合连续摄像机运动和多样化静态视点的混合方法，所提出的方法显著减少了这些虚假关联，从而提高了性能和训练稳定性。该策略已被证明有利于各种VLA模型架构，使其能够更好地泛化到未见的摄像机姿态和物体配置。
-
SpurAudio基准揭示少样本音频模型中的捷径学习缺陷
研究人员推出了SpurAudio，这是一个旨在评估少样本音频分类中捷径学习的新基准。该基准专门解决了模型如何利用前景声音和背景环境之间的虚假关联，这是标准评估中经常被忽视的一个因素。使用SpurAudio的研究表明，许多现有的少样本方法，包括大型预训练模型，在这些背景关联发生改变时，性能会显著下降，这表明在传统测试中不明显的脆弱性。