PulseAugur
中
实时 06:19:01
实体 preconditioning exponent p

preconditioning exponent p

PulseAugur coverage of preconditioning exponent p — every cluster mentioning preconditioning exponent p across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_133200 ·

    新研究将神经网络优化器偏差视为信息分配动力学

    本文从新的视角介绍了理解神经网络训练中优化器的隐式偏差。它提出了一种“信息分配动力学”方法，将偏差视为训练信号在类权重和类偏置参数路径之间的相对分布。这种分配可以通过连续的“预条件指数p”来控制，影响残差信号的保留和更新方式。该研究将优化器偏差的分析从最终解决方案的几何形状转移到训练过程中的动态更新过程，强调了其对参数轨迹和泛化能力的影响。