实体
Nanda et al.
Nanda et al.
PulseAugur coverage of Nanda et al. — every cluster mentioning Nanda et al. across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Transformer通过离散对数时钟算法学习模乘法
研究人员通过分析Transformer在特定数学基下的内部表示，揭示了它们如何学习模乘法。与之前关于傅里叶谱稠密的假设相反，该研究表明，当使用乘法特征变换进行分析时，Transformer的嵌入变得稀疏，关键频率占主导地位。这表明该模型有效地将乘法简化为离散对数空间中的加法，实现了一种“离散对数时钟”算法。
-
新指标预测 Transformer 的“领悟”现象
一篇新的研究论文介绍了一种名为“频率同步度”（FSD）的指标，用于衡量 Grokking Transformer 中傅里叶电路的同步性。该指标在实际发生领悟事件前数百到数千步的同步过程中，能够持续预测领悟现象——即 Transformer 模型在模算术任务上的准确性迅速提高的现象。研究还提供了因果证据，表明可以通过调整权重衰减来控制领悟的时间，证明了衰减率与领悟速度之间存在可预测的关系。