MLP neurons
PulseAugur coverage of MLP neurons — every cluster mentioning MLP neurons across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Transformer 从椭圆曲线数据中学习解析数论启发式方法
研究人员训练了一个两层 Transformer 编码器，通过使用前 128 个归一化的 Frobenius 迹来根据秩对有理椭圆曲线进行分类，准确率超过 99%。通过机制可解释性技术，他们识别出一个包含 20 个 MLP 神经元的稀疏电路，足以进行预测，并实现了一个推拉检测器架构。值得注意的是，模型学习到的输入权重与 Mestre-Nagao 和启发式方法非常吻合，这表明它直接从数据中学习到了解析数论的一个结果。
-
语言模型神经元被发现是稀疏的，有助于可解释性
研究人员已经证明，语言模型MLP层内的神经元表现出的稀疏度与稀疏自编码器（SAE）相当。这一发现使得开发用于电路追踪的基于梯度的管道成为可能，从而能够识别出具有因果效应的神经元。该方法已成功识别出约100个MLP神经元组成的电路，用于控制模型在主谓一致任务上的行为，并揭示了用于多跳城市-州-首都任务的推理步骤的特定神经元集，在没有额外训练成本的情况下推进了自动化可解释性。
-
Nous Research 的 CNA 方法通过靶向 0.1% 的神经元来引导 LLM 的拒绝行为
Nous Research 的研究人员开发了一种名为对比神经元归因 (CNA) 的新方法，用于识别和操纵大型语言模型中控制拒绝行为的特定神经元。通过仅靶向这些神经元的 0.1%，CNA 可以将 Llama 和 Qwen 等模型的有害请求拒绝率降低 50% 以上，同时保持高质量的输出。该技术无需额外的训练或修改模型权重即可运行，重要的是，它揭示了区分有害提示和良性提示的底层神经结构即使在对齐微调之前的基础模型中也存在。
-
Tilde Research 发布 Aurora 优化器以解决 Muon 中的神经元死亡问题
Tilde Research 推出了 Aurora，这是一种旨在更有效地训练神经网络的新型优化器。Aurora 解决了流行的 Muon 优化器中的一个关键问题，即在训练过程中大量神经元会永久失活。这个新的优化器在具有 1.1B 参数的预训练实验中得到了验证，在 modded-nanoGPT speedrun 基准测试中取得了最先进的性能，并且其代码已公开发布。