实体
L2 regularization
L2 regularization
PulseAugur coverage of L2 regularization — every cluster mentioning L2 regularization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
深度残差网络学习Wasserstein空间中的测地线
一篇新的arXiv论文提出，深度残差网络（ResNets）在训练过程中学习Wasserstein空间中的测地线。该研究使用连续性方程对ResNet前向传播进行建模，表明带有L2正则化的ResNets比普通网络更有效地逼近这条测地线。这种改进的逼近被认为是ResNets优化和泛化能力更好的原因。
-
新理论通过 L2 相变解释深度神经网络中的领悟现象
研究人员开发了一种新理论，解释了深度神经网络中“领悟”（grokking）现象，即模型在过拟合一段时间后突然开始泛化。这项发表在 arXiv 上的研究提出，领悟与一阶 L2 相变中的滞后现象有关。通过故意将模型困在亚稳态，研究人员证明了 SGD 噪声可以驱动它们越过能量壁垒，从而产生遵循阿伦尼乌斯缩放的逃逸时间，进而重现了领悟曲线。
-
新的正则化方法提高了神经网络的性能和复杂度控制
研究人员开发了新颖的基于范数的神经网络正则化技术，旨在提高预测性能和复杂度控制。这些方法通过纳入输入特征协方差结构来扩展经典的岭和套索惩罚。一种策略修改权重衰减以考虑特征依赖性，另一种策略将 L1 稀疏性与协方差感知的 L2 正则化相结合，以获得结构化感知权重。使用模拟和真实世界数据（包括建筑制冷负荷预测和白血病细胞分类）进行的评估表明，性能得到了增强，尤其是在处理相关或高维特征时。