English(EN) When Do Attention-Head Ablations Support Causal Claims? Projection-Level Confounds, Floor Effects, and Matched Controls

新研究质疑语言模型注意力头消融的因果论断

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-03 04:00

一篇新发表在arXiv上的研究论文，调查了语言模型中注意力头消融在推断组件功能因果关系方面的可靠性。该研究使用GPT-2 small和DistilGPT2，证明了“归零”注意力头的常用实现方法可能产生与修正后预投影消融几乎不相关的结果。研究强调，像二元准确率这样的评估指标可能会掩盖行为极端下的效应，而黄金令牌对数概率提供了更分级的度量。通过采用匹配对照和发现/保留集划分，该论文表明修正后的每头效应排名非常稳定，但任务特异性的证据仍然薄弱。 AI

影响强调了理解语言模型内部工作机制的常用方法中潜在的缺陷，表明需要更严谨的分析。

排序理由发表在arXiv上的研究论文，详细介绍了分析语言模型组件的方法。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 6 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 发表在arXiv上的研究论文，详细介绍了分析语言模型组件的方法。 [lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Juli Huang · 2026-10-03 04:00

注意力头消融何时支持因果声明？投影级混淆、地板效应和匹配对照

arXiv:2610.00373v1 Announce Type: new Abstract: Attention-head ablation, zeroing a head and measuring the resulting change in task performance, is a common method for inferring which components of a language model are causally responsible for a behavior. We show using GPT-2 small…

本文如何被排名

报道来源 [1]

注意力头消融何时支持因果声明？投影级混淆、地板效应和匹配对照

相关实体

相关话题