Skaling

新的“Skaling”定律以更少的计算量改进神经网络缩放预测

研究人员引入了一种名为“Skaling”的新型神经网络缩放定律，该定律解决了现有模型中的局限性。由于假设模型大小和训练数据的独立影响，标准公式在数据稀疏或过度训练的极端情况下常常会错误估计损失。Skaling 将这些因素与交互指数耦合，将平均绝对百分比误差（MAPE）降低了 1.5-3 倍。这种新定律与稀疏网格策略结合使用时，能够以比传统方法少约 10 倍的计算量进行准确的外推，从而为未来模型的训练实现更高效的计算预算分配。