PulseAugur
中
实时 06:46:40
English(EN) How Does Orthogonalization Adapt to the Neural Network Hessian Structure? A Gradient Self Outer-Product Analysis at Initialization

新理论解释正交化在神经网络中的有效性

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一个新的理论框架，以解释诸如Muon之类的正交化技术为何能有效优化神经网络。研究表明，神经网络的Hessian（代表最优预条件子）表现出一种行块对角占优结构。这种结构是由权重矩阵的过度参数化驱动的，这是在语言模型等模型中观察到的现象。该分析在初始化时进行，为深度线性网络和ReLU网络等各种典型模型提供了定量的渐近理论，证实了梯度自外积的对角线项比非对角线项增长得更快。 AI

影响 为优化技术提供了理论基础，可能导致更高效的大型语言模型训练。

排序理由 该集群包含一篇详细阐述神经网络优化理论分析的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新理论解释正交化在神经网络中的有效性

本文如何被排名

Signal score
1 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群包含一篇详细阐述神经网络优化理论分析的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
2 days old
Coverage has settled into its steady-state source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Shenyang Deng, Garvit Goyal, Tianyu Pang, Shuhua Yu, Yaoqing Yang ·

    正交化如何适应神经网络Hessian结构？初始化时的梯度自外积分析

    arXiv:2610.28975v1 Announce Type: new Abstract: Muon orthogonalizes a weight matrix's momentum before each step, and on neural networks this simple preconditioner beats AdamW in a wide range of tasks. Existing analyses explain Muon within general optimization frameworks or on a f…

相关实体

相关话题