activation patching
PulseAugur coverage of activation patching — every cluster mentioning activation patching across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
权重剪枝可能损害 AI 模型电路而不会影响准确性
一篇新发表在 arXiv 上的研究论文，调查了 Transformer 语言模型中权重剪枝的失效模式，具体使用了 GPT-2 作为测试对象。研究人员发现，像准确率和困惑度这样的标准指标可能会掩盖剪枝造成的显著内部计算损伤。例如，注意力头的幅度剪枝可以有效地将特定电路归零，而神经元剪枝则可能颠倒其功能，导致整体性能指标未反映出的系统性错误。该研究强调，在评估压缩的语言模型时，需要进行电路级别的因果分析来补充传统评估。
-
新研究推进AI模型的因果推断方法 · 追踪6个来源
研究人员正在开发新方法来改进机器学习模型中的因果推断，特别是在处理未测量混淆因素时。一种方法，隐藏路径贡献（HPC），旨在区分通过合法模型路径产生正确答案的干预措施与利用隐藏路径的干预措施。另一个研究领域侧重于因果基础模型（CFMs），它们利用多样化的实验方案和观测数据来更准确地预测条件干预分布。研究还探讨了可用观测数据如何影响因果效应的识别，并引入了因果ID视图（CausalIDView）等基准来评估CFMs在不同数据视图下的性能。…
-
新方法通过差异化提示来解读 Transformer 模型内部机制
研究人员开发了一种名为对比投影（Contrastive Projection）的新方法，以更好地理解 Transformer 模型的内部工作原理。该技术通过减去两个高度匹配的提示的隐藏状态来分离差异化组件，然后可以将这些组件通过 logit lens 进行投影。这种方法已被用于追踪 Phi-2 等模型中的特定计算路径，并表明虽然计算的 token 空间表示是网络特定的，但它们所绘制的区分并非如此。
-
新理论解释了激活修复与权重空间消融之间的分歧
研究人员开发了一个理论框架，用于理解激活修复（activation patching）和权重空间消融（weight-space ablation）之间的关系，这两种方法都用于确定神经网络中的因果责任。该理论在理想化模型和小型Transformer上进行了测试，揭示了这些方法在何种条件下会达成一致，以及何时会产生分歧，特别是关于它们如何衡量模型输出的变化。研究结果表明，虽然激活修复衡量的是激活的对比度，而消融衡量的是绝对水平，这导致了关…
-
大语言模型难以解码主流传统之外的神话知识
一项新的研究论文调查了 18 个开源大语言模型如何体现和解码神话知识。研究发现，虽然模型可以体现关于宙斯、朱庇特和索尔等神祇的知识，但它们在一致地识别芬兰、斯拉夫、埃及或中国传统等代表性较低的神话中的对应神祇方面存在困难。研究表明，这种失败发生在解码或读出阶段，而不是在初始体现阶段，并且受到提示中使用的语言的影响。
-
新论文揭示AI模型可解释性中的隐藏交互效应
一篇题为“多重中介的诅咒”（The Curse of Multiple Mediators）的新研究论文探讨了激活打补丁（activation patching）这一机械可解释性主要工具的局限性。该论文认为，用于将因果责任归因于模型组件的激活打补丁，也会捕获依赖于其他组件状态的交互效应。这些交互效应可能导致可解释性研究中的不稳定性以及不准确的结论，正如在GPT-2 IOI电路中所展示的那样。作者提出，这些交互效应并非无关紧要，而是理解…