两篇新研究论文探讨了神经网络优化技术的进展。第一篇论文研究了分数优化器与分形激活函数之间的相互作用，发现某些组合可以改善神经网络训练，特别是在使用特定分形激活函数的正则化风格分数缩放时。第二篇论文通过分析Adam（一种广泛使用的优化器）的收敛特性及其在Transformer上的有效性，为其提供了原则性的基础。这项研究还介绍了Adam-mini，一种在保持性能的同时将Adam内存占用减半的优化器，并对Muon等其他优化器提供了见解。 AI
影响 这些论文为优化神经网络提供了新的理论和实证见解，有望带来更高效的训练和改进的模型性能。
排序理由 两篇在arXiv上发表的学术论文，详细介绍了神经网络的新颖优化技术。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2608.14636v1 Announce Type: cross Abstract: Fractional optimization methods and fractal activation functions are two independent directions for improving neural network training. Fractional optimizers extend first-order optimization through fractional derivatives and memory…
arXiv:2608.16760v1 Announce Type: new Abstract: Reliable optimization is central to neural network (NN) training, yet Adam, the default optimizer for modern LLMs, rests on a fragile foundation. This thesis develops a principled grounding for Adam and motivates new designs. First,…