实体
Neural Network Optimization
Neural Network Optimization
PulseAugur coverage of Neural Network Optimization — every cluster mentioning Neural Network Optimization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新框架通过信息分配动力学分析神经网络优化器偏差
本文从新的视角探讨了神经网络优化器的功能，超越了最终解决方案的几何学，转而考察训练过程中的动力学。它提出了一个“信息分配动力学”框架，将优化器偏差视为训练信号在类权重和类偏置参数路径之间的相对分布。这种分配可以通过连续的“预条件指数p”来控制，影响权重和偏置校正如何保留残差信号的不同方面，从而影响参数轨迹和泛化能力。
-
新理论推动了尺度不变神经网络优化
研究人员在优化神经网络方面取得了新的理论见解，特别是在尺度不变方法和重尾噪声方面。他们为尺度不变的二阶方法建立了一个依赖于维度的下界，表明某些条件需要大量的预言机调用。为了解决这个问题，他们提出了一种批处理的Scion方法和一种传输的Scion方法，取得了改进的上界，并在各种神经网络架构中展示了实际效果。