IOI circuit
PulseAugur coverage of IOI circuit — every cluster mentioning IOI circuit across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新理论通过平衡物解释语言模型的自我修复
研究人员提出了一个理解语言模型自我修复的新框架，认为对模型组件的干预可以被视为代表反事实对比的坐标轴上的点。这种观点认为，一个固定的系数 $\gamma_r$ 控制着细粒度单元的因果修复响应，决定它们是抵消还是增强被移除的信号。在 Gemma、Qwen、LLaMA 和 Mistral 四个不同的模型家族上进行的实验，识别出许多组件，包括 MLP 和 OV 神经元，它们遵循这种仿射定律，并且 $\gamma_r$ 的大小可以从固定权重中预测。
-
新的CoAx方法揭示了Transformer电路中的自修复机制
研究人员开发了一种名为条件共消融（CoAx）的新方法，以更好地理解Transformer电路的功能，特别是当它们表现出自修复能力时。该技术解决了传统方法的一个局限性，即当主要组件被移除后，休眠的备份组件会接管，从而误导分析。CoAx通过测量主要组件集被移除后剩余单元的消融效应增加，从而揭示了关键的二阶交互作用。将其应用于GPT-2-small IOI电路，CoAx显著提高了备份头的恢复能力，优于现有方法，并验证了这些恢复的备份的因果作用。
-
新论文揭示AI模型可解释性中的隐藏交互效应
一篇题为“多重中介的诅咒”（The Curse of Multiple Mediators）的新研究论文探讨了激活打补丁（activation patching）这一机械可解释性主要工具的局限性。该论文认为，用于将因果责任归因于模型组件的激活打补丁，也会捕获依赖于其他组件状态的交互效应。这些交互效应可能导致可解释性研究中的不稳定性以及不准确的结论，正如在GPT-2 IOI电路中所展示的那样。作者提出，这些交互效应并非无关紧要，而是理解…