实体 Tiberiu Musat

Tiberiu Musat

PulseAugur coverage of Tiberiu Musat — every cluster mentioning Tiberiu Musat across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_65711 · Jun 2 · 04:00

通过范数最小化解释神经网络的领悟

研究人员提出了一个新框架来理解神经网络中的“领悟”（grokking）现象，即泛化发生在训练数据记忆之后。他们的工作表明，这种延迟学习可以通过梯度下降在零损失流形上最小化权重范数来解释。该研究在特定条件下包含此动态的正式证明，并引入了一个近似方法来解耦参数学习，从而得到早期层动态的闭式表达式。实验结果验证了这些预测，重现了领悟特有的延迟泛化和表示学习。