Himmelblau

新研究探讨分数优化器和Adam的原理

两篇新研究论文探讨了神经网络优化技术的进展。第一篇论文研究了分数优化器与分形激活函数之间的相互作用，发现某些组合可以改善神经网络训练，特别是在使用特定分形激活函数的正则化风格分数缩放时。第二篇论文通过分析Adam（一种广泛使用的优化器）的收敛特性及其在Transformer上的有效性，为其提供了原则性的基础。这项研究还介绍了Adam-mini，一种在保持性能的同时将Adam内存占用减半的优化器，并对Muon等其他优化器提供了见解。