研究人员引入了一种名为“Skaling”的新型神经网络缩放定律，该定律解决了现有模型中的局限性。由于假设模型大小和训练数据的独立影响，标准公式在数据稀疏或过度训练的极端情况下常常会错误估计损失。Skaling 将这些因素与交互指数耦合，将平均绝对百分比误差（MAPE）降低了 1.5-3 倍。这种新定律与稀疏网格策略结合使用时，能够以比传统方法少约 10 倍的计算量进行准确的外推，从而为未来模型的训练实现更高效的计算预算分配。 AI
影响 通过改进性能预测，为下一代模型的训练实现更高效的计算预算分配。
排序理由 该集群描述了一篇介绍神经网络新缩放定律的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2608.07222v1 Announce Type: new Abstract: Neural scaling laws are foundational for language model development, yet standard formulations systematically under- and overestimate loss at data-scarce and overtraining extremes. This failure originates in the underlying assumptio…
Neural scaling laws are foundational for language model development, yet standard formulations systematically under- and overestimate loss at data-scarce and overtraining extremes. This failure originates in the underlying assumption that model size and training data impact the l…