Positive Quadratic Networks

新框架“商动力学”分析正二次神经网络

研究人员开发了一个名为商动力学（Quotient Dynamics）的新理论框架，用于分析正二次神经网络的训练行为。该框架利用这些网络的低秩表示，其中参数在一定正交乘法下是可识别的。研究详细阐述了这种商结构如何影响训练动力学、曲率和插值偏差，特别是在二次回归的背景下。研究结果包括了有效Hessian、谱初始化器以及梯度流和有限步下降方法的收敛保证的推导，并通过数值实验验证了理论预测。