Amari et al.

深度学习的扩展定律：计算和数据增加可预测的损失减少

深度学习中的扩展定律描述了一种可预测的关系，即随着模型大小、数据集大小和计算能力的增加，训练损失遵循幂律曲线减小。这种可预测性对于估算更大模型的资源需求非常有价值。20世纪90年代和2017年的早期研究探索了学习曲线和泛化误差，发现损失与数据大小和模型参数成比例地缩放。最近的工作将误差建模为模型和数据大小的联合函数，证实了沿每个轴的幂律衰减。