新理论解释神经网络优化器动力学中的重尾谱出现

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-14 04:00

研究人员开发了一种新方法来理解神经网络权重矩阵中重尾谱密度的出现方式，这是隐式自正则化的指标。他们将这种出现表述为一个命中时间问题，考虑了在观察期内未达到重尾诊断的运行。他们的发现提出了一个维度修正的谱隙定律，该定律得到了包括 Qwen2.5-0.5B 和 Pythia-70M 在内的各种模型以及理论分析的经验数据的支持。 AI

影响为理解神经网络中的谱特性提供了理论框架和经验验证，可能有助于开发更鲁棒和可预测的优化器。

排序理由该集群包含一篇在 arXiv 上发表的研究论文，详细介绍了关于神经网络优化器动力学的理论和经验发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 23 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇在 arXiv 上发表的研究论文，详细介绍了关于神经网络优化器动力学的理论和经验发现。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Zongmin Liu · 2026-09-14 04:00

神经优化器动力学中重尾谱涌现的维度校正命中时间

arXiv:2609.12994v1 Announce Type: new Abstract: Heavy-tailed empirical spectral densities of neural-network weight matrices are widely used as diagnostics of implicit self-regularization, but the step complexity of heavy-tail emergence remains poorly understood. We formulate spec…

本文如何被排名

报道来源 [1]

神经优化器动力学中重尾谱涌现的维度校正命中时间

相关实体

相关话题