Sinie Van Der Ben

新研究揭示管道选择导致AI可解释性分数偏差

一篇新发表在arXiv上的论文强调了用于比较语言模型中稀疏自编码器（SAEs）的自动可解释性分数存在显著方差。研究人员发现，评估管道的差异，而非模型架构，是导致模拟、检测和模糊测试等指标分数变化的主要原因。研究还表明，top-k特征排名可能不一致，掩盖了潜在的不稳定性。为解决这些问题，作者提出了一种方差分解方法、一个稳定性检查和一个最低报告清单，以提高可解释性研究的可靠性。