实体
Simon Martin
Simon Martin
PulseAugur coverage of Simon Martin — every cluster mentioning Simon Martin across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
两层线性网络中观察到静默对齐现象
研究人员在高维环境下分析了两层线性神经网络中梯度流的动力学。他们的工作结合了闭式解和随机矩阵理论，提供了权重矩阵随时间变化的精确渐近谱分布。一项关键发现是识别出一种“静默对齐”现象，其中网络的奇异方向快速对齐，而其奇异值和经验损失在稍后的对数时间尺度上才发生变化，此时可见的学习才开始。
-
新研究分析高维神经网络的训练动力学
一篇新发表在arXiv上的研究论文分析了具有二次激活函数的浅层神经网络在高维训练动力学。该研究侧重于网络宽度随输入维度缩放的广泛宽度区域，并使用动力学平均场理论来表征梯度流。研究结果为过参数化如何影响学习和泛化提供了量化见解，揭示了在存在标签噪声的情况下出现的双下降现象，并为l2正则化下的完美恢复阈值提供了精确表达式。