English(EN) Learning Dynamics Reveal a Hierarchy of Weight-Induced Layerwise Gram Metrics

新框架揭示神经网络训练动力学中的层级结构

作者 PulseAugur 编辑部 · [2 个来源] · 2026-06-08 17:05

研究人员开发了一个新的框架来理解前馈ReLU神经网络的训练动力学。他们的工作将梯度下降重写为训练集空间上的集体动力学，而不是权重空间上的动力学。对于更深层的网络，这揭示了权重诱导算子的一种层级结构，该结构管理着层之间的信息流。 AI

影响为分析和优化神经网络训练提供了新的理论视角。

排序理由该集群包含一篇详细介绍神经网络训练动力学新理论框架的学术论文。

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

arXiv cs.LG TIER_1 English(EN) · Claudio Nordio · 2026-06-09 04:00

学习动力学揭示了权重诱导的层级Gram度量

arXiv:2606.09744v1 Announce Type: new Abstract: We study feed-forward ReLU networks with fixed readout and quadratic loss. The aim is to rewrite gradient descent not primarily as a dynamics in weight space, but as a collective dynamics closed in terms of fields defined on the tra…
arXiv cs.LG TIER_1 English(EN) · Claudio Nordio · 2026-06-08 17:05

学习动力学揭示了权重诱导的层级Gram度量

We study feed-forward ReLU networks with fixed readout and quadratic loss. The aim is to rewrite gradient descent not primarily as a dynamics in weight space, but as a collective dynamics closed in terms of fields defined on the training-set space. For a single hidden layer, the …