PulseAugur
中
实时 05:55:44

新型HSR正则化促进神经网络中的平坦最小值

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一种名为Hessian Spectral Range (HSR) Regularization的新型正则化技术，旨在通过促进收敛到平坦最小值来提高神经网络的泛化能力。该方法解析推导了损失Hessian最大特征值的上界的梯度，沿着最陡下降方向指导参数更新。实验表明，HSR Regularization缩小了Hessian特征值谱，有助于网络避免尖锐的最小值和鞍点。 AI

影响 这项研究通过改进神经网络在训练过程中导航损失景观的方式，有望带来更强大、更具泛化能力的神经网络模型。

排序理由 该集群包含一篇详细介绍神经网络新研究方法的学术论文。

在 arXiv cs.NE (Neural & Evolutionary) 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新型HSR正则化促进神经网络中的平坦最小值

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Yuto Omae, Kazuki Sakai, Yohei Kakimoto, Makoto Sasaki, Yusuke Sakai, Hirotaka Takahashi ·

    闭式最优下降方向趋向平坦极小值：减小神经网络中损失Hessian特征值谱的上限

    arXiv:2606.28662v1 Announce Type: cross Abstract: The flatness hypothesis suggests that flatness of the loss landscape, as measured by the eigenvalues of the loss Hessian, correlates with better neural network generalization. While various algorithms reduce these eigenvalues, mos…

  2. arXiv cs.NE (Neural & Evolutionary) TIER_1 English(EN) · Hirotaka Takahashi ·

    趋向平坦极小的闭式最速下降方向：减小神经网络中损失Hessian特征值谱的上限

    The flatness hypothesis suggests that flatness of the loss landscape, as measured by the eigenvalues of the loss Hessian, correlates with better neural network generalization. While various algorithms reduce these eigenvalues, most focus on procedural design, leaving it unclear h…

相关实体

相关话题