Diagonal Linear Networks
PulseAugur coverage of Diagonal Linear Networks — every cluster mentioning Diagonal Linear Networks across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的 L2 正则化变体增强了线性网络中的持续学习能力
研究人员开发了一种新的加权 L2 正则化变体,旨在改进对角线性网络中的持续学习。该方法旨在保留 L2 正则化在单任务设置中促进的稀疏性偏差,而这种偏差在持续学习场景中通常会丢失。所提出的方法在适度的任务范围内,与标准的 L1 或 L2 正则化相比,在稀疏教师模型上显示出更快的收敛速度的理论和经验证据。
-
新理论解释机器学习模型中的“Grokking”现象
研究人员开发了一种统计理论来解释“Grokking”现象,即模型在与训练数据拟合的阶段之外学习底层信号。该理论描述了正则化几何和信号稀疏性如何影响插值附近的泛化能力,尤其是在高维回归中。在对角线性网络和Transformer上的实验证明了该理论的预测,揭示了最小范数插值中存在的统计不稳定性,其中正则化强度的小变化可能导致泛化能力显著不同,同时保持较低的训练误差。
-
论文分析SAM对对角线性网络训练的影响
本文使用随机感知锐度最小化(SAM)分析了对角线性网络的训练动态。研究人员证明,训练过程中引入的噪声充当了SAM的随机形式,影响了损失景观和训练速度。该研究描述了噪声水平如何作为正则化参数,影响参数收缩、阈值处理和层平衡。
-
论文分析了SGD在高维线性网络中的动力学行为
一篇新论文详细介绍了随机梯度下降(SGD)在对角线性网络中的高维行为。研究表明,在高维情况下,SGD的动力学行为可以用随机微分方程精确建模。这使得可以推导出一个确定性偏微分方程,该方程跟踪风险和曲率等关键统计数据,最终证明了指数级收敛到零风险。