一篇新研究论文提出了一种替代标准神经缩放指数的几何推导方法,该方法通常依赖于数据流形的内在维度。作者们证明,对于 $\mathbb{Z}_p$ 中的模加法,这种标准方法是未定义的,因为精确的代数解涉及作用于等距变换的 $\mathbb{Z}_p$ 轨道。相反,他们表明这种关系遵循与网络隐藏宽度相关的指数曲线,具有很高的 R 方值,表明该模型能更好地捕捉观察到的行为。 AI
影响 提出了一种理解神经缩放的新理论框架,可能影响模型设计和分析。
排序理由 该集群包含一篇详细介绍神经缩放指数新理论方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- data manifold
- Frédéric Cadet
- hidden width
- intrinsic dimension
- \mathbb{Z}_p
- modular addition
- neural scaling exponents
- Tikhonov regularization
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →