实体
Montanari
Montanari
PulseAugur coverage of Montanari — every cluster mentioning Montanari across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新研究详解双层神经网络中的分层学习
研究人员从理论上分析了无限宽度双层神经网络在学习错误指定的单索引模型时的人口梯度流。该研究通过一个控制相对训练速度的扰动参数联合优化两层，证明了隐藏链接函数的常数和线性分量可以在预测的时间尺度内恢复。该论文还考察了二次分量的学习，证明了先前学习的分量继续影响动力学。该分析利用了积分约束流形附近奇异摄动流的定量近似结果，并在学习二次分量时现象学地观察到权重经验测度的奇异行为。
-
也许我对深度学习理论过于苛刻了（三天前）
LessWrong 上的一篇近期分析重新评估了深度学习理论的重要性，特别关注了无限宽度和深度限制的研究。作者最初驳斥了这些理论框架，但在审阅了关键论文并与同行讨论后，发现它们更具说服力。虽然将无限宽度网络视为高斯过程的神经切线核（NTK）方法能够准确描述收敛性，但无法描述实际的学习动态；而均场理论（MFT）提供了一个更有希望的途径。MFT 通过允许参数更新随时间修改网络核来支持特征学习，最近的工作已将此扩展到更深的网络，并在一个更广泛…