实体 ReLU MLPs

ReLU MLPs

PulseAugur coverage of ReLU MLPs — every cluster mentioning ReLU MLPs across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_72706 · Jun 5 · 04:00

两个训练时钟理论解释Grokking现象

研究人员开发了一个理论框架来解释机器学习中的“Grokking”现象，即模型以不同速率拟合训练数据和学习可泛化规则。他们提出了“两个训练时钟”的概念，以区分分类损失的快速下降和模型内部表征的缓慢简化。该理论最初在深度线性网络中得到验证，然后扩展到解释ReLU MLP中类似的行为，表明存在一个两阶段学习过程，其中分类器首先适应，然后进行表征优化。