PulseAugur
中
实时 05:26:25
English(EN) Spectral phase transitions and trainability in neural network learning dynamics

新研究将神经网络训练视为矩阵动力学和相变

作者 PulseAugur 编辑部 · [2 个来源] ·

两篇新的arXiv论文超越了标量损失函数，通过分析内部表征的演变来探索神经网络在训练过程中的内部动力学。第一篇论文引入了可观测矩阵动力学（OMD）来研究输入表征距离矩阵的光谱重组，区分了扩散和相变两种机制。第二篇论文将神经网络训练视为矩阵集合的随机演变，识别出预示着表征形成并连接可训练性与优化超参数的Baik-Ben Arous-Péché（BBP）相变。 AI

影响 这些论文为理解神经网络训练的内部动力学提供了新颖的理论框架，有望带来改进的优化和表征学习。

排序理由 两篇发表在arXiv上的学术论文，详细介绍了理解神经网络训练动力学的新理论框架。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新研究将神经网络训练视为矩阵动力学和相变

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Igor Halperin ·

    学习作为可观察的矩阵动力学：扩散弛豫与相变

    arXiv:2606.29679v1 Announce Type: new Abstract: Observable Matrix Dynamics (OMD) is a diagnostic framework that probes the dynamics of high-dimensional internal representations of inputs by a neural network via a fixed-size $N \times N$ distance matrix $M(t)$ on a held set of $N$…

  2. arXiv cs.LG TIER_1 English(EN) · Chanju Park, Dario Bocchi, Francesco D'Amico, Biagio Lucini, Gert Aarts ·

    神经网络学习动力学中的谱相变与可训练性

    arXiv:2606.28486v1 Announce Type: cross Abstract: The emergence of low-dimensional structures in the spectra of neural network weight matrices is a common empirical feature of trained models, but the dynamical origin of this phenomenon during learning remains an open problem. We …

相关实体

相关话题