Pythia 70M
PulseAugur coverage of Pythia 70M — every cluster mentioning Pythia 70M across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Expander SAEs 为神经网络可解释性提供参数高效的字典
研究人员引入了 Expander Sparse Autoencoders (SAEs)，一种使用参数高效字典来解释神经网络激活的新方法。与传统的 SAE 相比，该方法显著减少了学习到的解码器值数量，使其更易于扩展到大型模型。在 Pythia、Qwen2.5-3B 和 Llama 3.2 1B 等模型上的实验表明，Expander SAEs 在存储-保真度权衡方面具有竞争力，使用的参数明显更少，同时保留了高百分比的恢复 CE 损失。
-
威布尔框架揭示了 transformer 中的 AdamW 训练动力学
一篇新的研究论文探讨了 transformer 模型在 AdamW 训练过程中权重尺度参数的演化。该研究将平方权重范数分解为三个力，确定了对齐力、注入力和衰减力是关键驱动因素。对 Pythia-70M 模型的分析表明，在权重尺度增长阶段，对齐力占主导地位，而在接近饱和时，对齐力和衰减力达到平衡，导致松弛。研究人员还开发了一种样条位移方法，可以从稀疏检查点中准确恢复对齐力。
-
研究人员发现独立训练的Transformer通过随机旋转计算相同函数
研究人员发现了一个称为“多态性”的现象，在独立训练的Transformer中，它们计算相同的函数，但使用不同的内部坐标系，这些坐标系是彼此旋转的版本。这种在SO(d_model)内均匀随机的旋转使得模型之间的内部表示难以理解。然而，使用正交Procrustes拟合的单个矩阵乘法可以对齐这些基，从而无需重新训练即可在模型之间转移特征字典和引导向量。
-
新方法增强稀疏自编码器的可解释性和稳定性
研究人员开发了新方法来解决稀疏自编码器（SAE）的局限性，SAE用于解释大型语言模型的内部表示。一篇论文介绍了自适应弹性网络SAE（AEN-SAE），这是一种可微分架构，可在不进行启发式重采样的情况下缓解特征饥饿和收缩偏差。另一项研究提出了一种用于分析SAE特征的成对矩阵协议，揭示了单特征检查可能会错误标记因果轴，并且相干性损失与方向模式有关。此外，另一篇论文提出，结合局部顺序辅助损失（如有限差分符号误差）可以提高自编码器重建精度，超…