实体
Neural Network Optimization
Neural Network Optimization
PulseAugur coverage of Neural Network Optimization — every cluster mentioning Neural Network Optimization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究将神经网络优化器偏差视为信息分配动力学
本文从新的视角介绍了理解神经网络训练中优化器的隐式偏差。它提出了一种“信息分配动力学”方法，将偏差视为训练信号在类权重和类偏置参数路径之间的相对分布。这种分配可以通过连续的“预条件指数p”来控制，影响残差信号的保留和更新方式。该研究将优化器偏差的分析从最终解决方案的几何形状转移到训练过程中的动态更新过程，强调了其对参数轨迹和泛化能力的影响。
-
新理论推动了尺度不变神经网络优化
研究人员在优化神经网络方面取得了新的理论见解，特别是在尺度不变方法和重尾噪声方面。他们为尺度不变的二阶方法建立了一个依赖于维度的下界，表明某些条件需要大量的预言机调用。为了解决这个问题，他们提出了一种批处理的Scion方法和一种传输的Scion方法，取得了改进的上界，并在各种神经网络架构中展示了实际效果。