Aitken

新的分析方法改进了有限计算预算下的神经网络缩放定律

研究人员开发了一种新的方法来分析超越传统对数线性模型的神经网络缩放定律，特别适用于计算预算有限的情况。该方法利用 Mellin-Barnes 分析来理解谱和域异质性如何影响学习曲线，并引入了一个考虑曲率和对数过渡的三项展开。该论文还提出了 Aitken 差分技术用于稳定的参数初始化，以及 KKT 对偶用于最优数据分配，在各种模型规模和数据集上均显著提高了预测准确性并减少了分配遗憾。