OV neurons

新理论通过平衡物解释语言模型的自我修复

研究人员提出了一个理解语言模型自我修复的新框架，认为对模型组件的干预可以被视为代表反事实对比的坐标轴上的点。这种观点认为，一个固定的系数 $\gamma_r$ 控制着细粒度单元的因果修复响应，决定它们是抵消还是增强被移除的信号。在 Gemma、Qwen、LLaMA 和 Mistral 四个不同的模型家族上进行的实验，识别出许多组件，包括 MLP 和 OV 神经元，它们遵循这种仿射定律，并且 $\gamma_r$ 的大小可以从固定权重中预测。