一篇题为“我们是否正在恢复机制?机制可解释性中的目标级恢复差距”的新研究论文已在arXiv上发表。该论文调查了当前机制可解释性方法的有效性,该方法旨在理解AI模型的内部计算。研究人员发现,评估目标有时会偏向不太准确的电路,从而产生“目标级恢复差距”。在各种任务和方法中都观察到了这种差距,有相当一部分候选对被错误排序。研究表明,上下文失真(输入的变化会影响保留的组件)导致了这个问题。从完整模型的执行中恢复特定信号被证明可以纠正这些错误排序中的大部分,而不会改变电路或其原始行为分数。 AI
影响 强调了当前AI可解释性评估方法中潜在的缺陷,表明需要改进才能准确恢复机制。
排序理由 在arXiv上发表的研究论文,讨论机制可解释性。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →