实体
copy mechanism
copy mechanism
PulseAugur coverage of copy mechanism — every cluster mentioning copy mechanism across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
研究发现 Transformer 感应头机制可经受微调
一项机制可解释性项目研究了 Transformer 的感应头机制（负责复制 token 身份）是否能经受微调。研究发现，在一个小型 Transformer 模型中，一个特定的感应头（L1H6）的得分最初并未达到预期，尽管其他方法表明了它的重要性。经过广泛的调试，研究人员发现评分公式中存在一个偏移一位的错误，这对于准确衡量该感应头的功能至关重要。
-
研究了微调对 Transformer 复制机制的影响
本文详细介绍了一个机制可解释性项目，该项目专注于理解微调如何影响 Transformer 模型的“复制机制”。作者遇到了七个严重的错误，几乎阻碍了研究，并最终对微调的影响有了惊人的发现。
-
新研究深入探讨 Transformer 的能耗、学到的线性以及训练动态
近期研究探索了 Transformer 模型的复杂性，重点关注其能耗、内部线性特性和训练动态。其中一篇论文引入了一个缩放模型，用于预测微调期间的能耗，该模型受 Roofline 模型启发，并考虑了并行效应。另一项研究调查了 Transformer 前馈块的线性，揭示了这种特性是学到的而非架构性的，并且在不同层之间存在显著差异。第三篇论文通过连续深度均场控制的视角分析了 Transformer 层，将交叉熵训练与最优控制问题联系起来。此…