GPT-2 small
PulseAugur coverage of GPT-2 small — every cluster mentioning GPT-2 small across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
语言模型中的权重绑定：梯度分析与性能影响
研究人员探讨了语言模型中权重绑定的影响，特别是输入嵌入层和输出投影矩阵的绑定如何影响梯度计算和模型性能。他们发现，删除绑定嵌入层一半的梯度在很大一部分 token 行上是完全正确的，并且模型即使在这种修改下也能有效训练。该研究还调查了绑定模型固有的“重复偏差”，并证明绑定不一定会使参数减半，而是根据词汇量大小的百分比减少参数。
-
Mechanistic Tomography 框架统一了 AI 模型可解释性方法
研究人员引入了“Mechanistic Tomography”，一个用于 AI 模型可解释性的框架。该方法将打补丁和 Hessian-向量积等各种测量技术统一在一个共享的数学结构下，从而能够更系统地恢复模型的内部机制和干预效果。该框架提出了一种应用这些测量的实用程序，从更简单的方法开始，并根据残差误差按需扩展。它在面向控制的可解释性任务中显示了有效性，展示了测量精度如何直接影响像双 HMM 系统这样的模型的控制误差，并识别了 GPT-…
-
FishBack 方法使用非欧几里得几何改进 Transformer 激活定向
研究人员开发了一种名为 FishBack 的新方法，以改进 Transformer 中的激活定向，这是一种无需更新参数即可修改语言模型行为的技术。现有方法由于激活空间是欧几里得空间的错误假设，通常不稳定，并且会干扰不相关的行为。FishBack 通过使用 softmax 层的 Fisher 信息度量，通过雅可比矩阵拉回，推导出最佳定向，从而纠正了这一点。该方法通过减少目标外失真，尤其是在几何校正影响最大的早期和中间层，在 GPT-2 …
-
RecurrentGPT 引入循环调制以提高 Transformer 效率
研究人员推出了一种新颖的 Transformer 架构 RecurrentGPT，旨在增强大型语言模型在表达能力和内存效率方面的表现。该模型利用循环调制，允许共享核心迭代多次，从而减少了对大量独特层数的需要。在可比的计算限制下，RecurrentGPT 在准确性方面与显著更深的標準 Transformer 相当，同时在参数更少和内存使用量减少的情况下取得了有竞争力的结果。
-
研究发现：AI可解释性证据不可靠，无法满足监管合规要求
一项新的研究论文认为，源自机械可解释性（一种用于理解AI决策过程的方法）的证据，其可靠性不足以满足监管要求。研究发现，即使使用相同的AI模型和工具，分析设置的微小差异也会导致对AI决策产生截然不同的解释。这种不稳定性表明，当前的可解释性方法可能不适用于满足欧盟《AI法案》等法规要求的文档规定，这些法规要求对高风险AI系统提供清晰一致的解释。
-
新方法使用Koopman算子进行模型可解释性分析
研究人员开发了一种名为“内在结构”的机制可解释性新方法，该方法利用Koopman算子分析模型内部动力学的谱特性。这种方法旨在区分模型固有的特征和可解释性方法产生的伪影。该研究为机制可解释性原语提供了第一个识别定理，证明了可以从校准样本中恢复模型的频谱，且误差率可预测。在GPT-2 small、Gemma 2-2B和Qwen3-8B-Base上的实验表明，频谱会收敛，并且在Qwen3-8B-Base上实现了预测的误差指数，这表明Koop…
-
新研究探讨MUON优化器的收敛性并提出MALT扩展
两篇新研究论文探讨了MUON优化算法，这是一种用于训练大型语言模型的方法。第一篇论文介绍了MALT，它是MUON的一个扩展，通过轻量级的对角预处理来提高对损失曲面曲率各向异性的鲁棒性。MALT旨在保持MUON的效率，同时提高其性能，这在GPT-2模型的实验中得到了证明。第二篇论文分析了MUON的收敛特性，表明它可能无法收敛于某些随机优化问题，并对该算法的广义变体进行了误差分析。
-
研究人员探索自适应深度和循环折叠以优化 Transformer
两篇新研究论文探索了通过动态调整深度来优化 Transformer 模型的新方法。第一篇论文《Looped Transformers 中的自适应深度》研究了学习到的停止门和轨迹读出，发现固定的先验深度监督可以带来更好的性能和实际的推理时间节省。第二篇论文《Mobius Learning: Transformers 中的循环深度折叠》介绍了一种训练架构，其中不同的数据流遵循循环移位的块顺序，允许块同时针对浅层和深层角色进行优化，并在内存…
-
分析 GPT-2 Small 嵌入的“Trump”周围的几何形状
研究人员探索了 GPT-2 Small 模型静态嵌入表中“Trump”这一 token 的嵌入几何形状。通过分析离散和连续表示的 token 嵌入下的最近邻居，他们观察到了不同的结果。离散方法产生了通用的政治术语，而连续方法则揭示了一组更具体的相关个体，包括家庭成员、工作人员和其他总统。
-
新框架提升了 AI 模型可解释性的统计严谨性
研究人员开发了认证干预保真度（CIF），一个旨在严格评估机制可解释性中因果声明的新统计框架。CIF 将评估指标视为因果估计量，提供随时有效的置信区间和考虑自适应采样策略的序列。该方法已在涉及 MNIST 抽象和 GPT-2 Small IOI 电路的任务中证明了其有效性，从而能够对模型行为和干预效果得出更可靠的结论。
-
新的CoAx方法揭示了Transformer电路中的自修复机制
研究人员开发了一种名为条件共消融（CoAx）的新方法，以更好地理解Transformer电路的功能，特别是当它们表现出自修复能力时。该技术解决了传统方法的一个局限性，即当主要组件被移除后，休眠的备份组件会接管，从而误导分析。CoAx通过测量主要组件集被移除后剩余单元的消融效应增加，从而揭示了关键的二阶交互作用。将其应用于GPT-2-small IOI电路，CoAx显著提高了备份头的恢复能力，优于现有方法，并验证了这些恢复的备份的因果作用。
-
新的 VASAE 方法通过词汇内在命名 AI 模型特征
研究人员开发了一种名为词汇对齐稀疏自编码器（VASAE）的新方法，用于内在命名 Transformer 模型中稀疏自编码器学习到的特征。该方法将 SAE 特征与 Transformer 的词汇表对齐，根据最近的词汇嵌入为每个特征分配名称。VASAE 在保持重建质量的同时，生成了具有词汇对齐特征的字典，在 GPT-2-small 和 Llama-3.1-8B 等模型中，尤其是在较浅层中，显示出高对齐率。案例研究表明，这些内在词汇名称与附…
-
新框架认证语言模型中稀疏自编码器的可解释性
研究人员开发了一个新框架，用于认证稀疏自编码器（SAE）在语言模型中使用时的可解释性。该框架通过使用源自 SAE 重构的稀疏代理来确定语言模型的风险上限。该方法已被证明在 GPT-2 Small、Gemma-2B 和 Llama-3-8B 等模型上有效，其中 Llama-3-8B 的后期层更容易认证。该方法有助于区分真正的语义对齐与纯粹的统计稀疏性，为基于 SAE 的解释的可靠性提供了一个诊断工具。
-
新的IGLU激活函数提供了改进的梯度流
研究人员推出IGLU，一种新颖的深度神经网络参数化激活函数，旨在改善梯度流和优化稳定性。IGLU源自半正态分布下GELU门的混合体，通过单个参数在类似恒等和类似ReLU的行为之间提供连续插值。其重尾柯西门确保所有有限输入的梯度非零，增强了对梯度消失的鲁棒性。一种高效的近似方法IGLU-Approx仅使用ReLU运算，在保持视觉和语言数据集上具有竞争力的性能的同时，降低了计算成本。
-
新研究发现语言模型（LMs）表现出一些类人语言学习偏见
一项新的研究论文探讨了通过在类型学上未被证实的语言上进行训练，语言模型（LMs）是否能为人类语言学习提供见解。该研究聚焦于12种语言，并使用了GPT-2 small，发现虽然该模型在很大程度上能够区分已证实和不可能的语言，但并未实现完美分离。此外，GPT-2 small在泛化测试中的表现表明存在一些类人的归纳偏见，尽管这些偏见不如人类学习者明显。
-
新的LiFT框架使用线性规划来控制Transformer过拟合
研究人员推出了一种新颖的Transformer模型微调框架LiFT，该框架利用线性规划来控制过拟合。该方法将微调表述为一个双层优化问题，联合更新模型参数和正则化超参数。通过求解线性规划，LiFT识别出一种面向验证的下降方向以进行集中更新，从而减少了广泛重新训练的需求。在WikiText-2上对GPT-2 Small进行的实验表明，LiFT能够有效地调整Transformer块和正则化参数，尤其是在易于过拟合的情况下，提高了测试困惑度。
-
Muon 优化器所需的正交化程度低于预期
研究人员调查了 Muon 优化器所需的最佳正交化水平，这是一种通过改进动量更新来增强神经网络训练的技术。他们的研究利用简化的立方牛顿-舒尔茨计划来探索极坐标精度、频谱整形和训练性能之间的关系。研究结果表明，训练质量与极坐标分解精度并不严格相关，因为在 GPT-2 Small 上，各种方法实现了几乎相同的最终损失，而在更大的 MoE/Mamba 模型上，验证损失也相当。
-
新的 RAG 方法为 LLM 群体提供随时有效性
研究人员开发了一种名为 Anytime-FC-RAG 的 FC-RAG（Federated Conformal RAG）的顺序扩展方法，该方法在任何停止时间为语言模型提供无分布覆盖。这种新方法在不增加假设的情况下，在重新校准和带宽升级等自适应控制策略下保持有效性。使用 GPT-2-small 和 MiniLM 群体进行的实验表明，Anytime-FC-RAG 可以匹配固定带宽调度的警报率，同时通信成本显著降低，节省了 14-57% 的…
-
新的Unpack方法解析Transformer组件交互
研究人员开发了一种名为Unpack的新方法来分析Transformer模型的内部工作原理。该技术使用后向递归来追踪注意力层和MLP层等不同组件如何贡献于模型的输出。Unpack可以在单次前向传播中识别交互强度和每令牌归因，而无需干预或额外训练。
-
GPT-2 Small 审计发现“加密密钥”特征与任务失败相关
研究人员开发了一种新颖的审计流程，用于分析GPT-2 Small语言模型的内部工作机制，特别是其在间接宾语识别（IOI）任务上的表现。该研究在模型的激活中识别出146个与任务失败相关的特征，其中一个突出的特征，标记为“加密密钥”，当提示中的宾语是“the keys”时，与错误表现出强烈的关联。尽管这一特征是重要的相关因素，但因果消融实验表明，在这一层面上它并非导致失败的充分原因，这凸显了理解模型行为的复杂性。