实体
Frequency Synchronization Degree
Frequency Synchronization Degree
PulseAugur coverage of Frequency Synchronization Degree — every cluster mentioning Frequency Synchronization Degree across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新指标预测 Transformer 的“领悟”现象
一篇新的研究论文介绍了一种名为“频率同步度”（FSD）的指标，该指标旨在预测 Transformer 模型中“领悟”（grokking）现象。领悟现象的特点是模型在一段时间表现不佳后，其泛化能力突然得到提升。研究表明，FSD 指标在各种配置下，始终能在训练步骤的数百到数千步之前预测到领悟现象的发生。该研究还提供了因果证据，表明领悟的时间点可以通过权重衰减等正则化技术来影响，这表明领悟是一种正则化形式，并且可以被加速。
-
新指标预测 Transformer 的“领悟”现象
一篇新的研究论文介绍了一种名为“频率同步度”（FSD）的指标，用于衡量 Grokking Transformer 中傅里叶电路的同步性。该指标在实际发生领悟事件前数百到数千步的同步过程中，能够持续预测领悟现象——即 Transformer 模型在模算术任务上的准确性迅速提高的现象。研究还提供了因果证据，表明可以通过调整权重衰减来控制领悟的时间，证明了衰减率与领悟速度之间存在可预测的关系。