研究人员发现了两个新的动力学缩放定律，它们描述了神经网络性能如何随着训练过程中复杂性度量的变化而变化。这些定律在CNN和Vision Transformers等各种架构以及多个数据集上均有观察到，并在收敛时恢复了已建立的测试误差缩放定律。单层感知器的分析工作支持了这些发现，并通过基于梯度的训练引入的隐式偏差来解释这种现象。 AI
影响 提供了对神经网络训练动力学的更深入理解，可能指导未来的模型设计和资源分配。
排序理由 学术论文，详细介绍了关于神经网络缩放定律的新发现。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2505.13230v3 Announce Type: replace-cross Abstract: Scaling laws in deep learning -- empirical power-law relationships linking model performance to resource growth -- have emerged as simple yet striking regularities across architectures, datasets, and tasks. These laws are …