PulseAugur
实时 08:46:46
English(EN) On Pitfalls of $\textit{RemOve-And-Retrain}$: Data Processing Inequality Perspective

新研究质疑AI特征归因基准的有效性

Junghoon Seo 在 arXiv 上发表的一篇新论文探讨了常用于评估特征归因方法的RemOve-And-Retrain (ROAR) 基准的局限性。研究表明,根据数据处理不平等无法添加信息的后处理归因图可以人为地夸大ROAR分数。这表明改进的ROAR排名不一定与包含更多关于模型决策过程信息的归因图相关。在CIFAR-10和SVHN等数据集上的实验揭示了模糊掩码倾向于表现更好,凸显了基准中存在的潜在偏差。作者提出了更可靠的基准测试指南,以更好地理解神经网络内部。 AI

影响 挑战了AI特征归因方法常用基准的可靠性,可能影响模型可解释性评估的方式。

排序理由 在arXiv上发表的学术论文,讨论了基准的局限性。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Junhwa Song, Keumgang Cha, Junghoon Seo ·

    On Pitfalls of $\textit{RemOve-And-Retrain}$: Data Processing Inequality Perspective

    arXiv:2304.13836v5 Announce Type: replace-cross Abstract: The RemOve-And-Retrain (ROAR) benchmark is widely used to evaluate feature attribution methods, yet its validity remains underexplored from an information-theoretic perspective. We show that model- and data-agnostic post-p…