新指标预测神经网络宽度缩放带来的性能提升

研究人员引入了“有效对齐维度”来更好地理解神经网络宽度缩放如何影响模型在未见过数据上的性能。这一新指标量化了激活梯度的信噪几何，为失配概率提供了有限样本界限。使用 LLaMA 风格的 Transformer、Pythia 和 ResNet-20 模型进行的实验表明，更宽的网络通常具有更大的有效对齐维度，并且表现出更少的经验性失配，直接干预证实了该统计量对损失变化的预测能力。 AI

影响 提供了一个新的理论工具，用于理解和预测神经网络宽度缩放的好处。

排序理由 该集群包含一篇详细介绍神经网络缩放的新理论概念和实验验证的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• IArxiv
• LLaMA
• Pythia
• ResNet-20
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →