dynamical mean field theory
PulseAugur coverage of dynamical mean field theory — every cluster mentioning dynamical mean field theory across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究分析高维神经网络的训练动力学
一篇新发表在arXiv上的研究论文分析了具有二次激活函数的浅层神经网络在高维训练动力学。该研究侧重于网络宽度随输入维度缩放的广泛宽度区域，并使用动力学平均场理论来表征梯度流。研究结果为过参数化如何影响学习和泛化提供了量化见解，揭示了在存在标签噪声的情况下出现的双下降现象，并为l2正则化下的完美恢复阈值提供了精确表达式。
-
机器学习泛化与超导转变物理学相关联
研究人员利用动力学平均场理论解释了机器学习中的“双下降”现象，即模型容量超过数据点时泛化能力仍会提高。这种行为被确定为训练过程中的一个相变，其特征是由于ergodicity破坏导致涨落耗散定理的失效。该研究的发现表明，该相变的响应函数与超导转变的伦敦模型之间存在联系，波函数刚度与神经网络的泛化能力相关。
-
Machine learning double descent linked to superconducting transition physics
一篇新论文探讨了机器学习中的“双下降”现象，即神经网络的泛化能力在其复杂度超过训练数据量时仍能继续提高。研究人员利用动力学平均场理论证明，这种行为源于控制训练过程的随机场论中的一个相变。该相变以遍历性破坏导致涨落耗散定理失效为特征，网络的泛化能力与超导转变的伦敦模型相似。
-
动力学平均场理论解释人工智能特征学习
Pierfrancesco Urbani 发表了关于应用动力学平均场理论分析大型神经网络中特征学习和过拟合的研究。本次在哈佛大学数学科学与应用中心举行的演讲旨在弥合经验观察与理论理解之间的差距。这项工作旨在进一步阐明大规模人工智能模型出色表现背后的机制。
-
新理论探索深度神经网络中的谱动力学
两篇新的arXiv论文探讨了深度神经网络在训练过程中的谱动力学。一篇论文引入了“神经低秩滤波”（Neural LoFi）作为理论框架，将分层特征学习理解为一种迭代谱过程。另一篇论文使用动力学平均场理论分析隐藏权重谱的演变方式，预测宽网络中的离群行为和超参数迁移。