Neural Scaling Laws
PulseAugur coverage of Neural Scaling Laws — every cluster mentioning Neural Scaling Laws across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Particle physics models engineered for data-driven scaling laws
研究人员正在探索如何为粒子物理学模型设计工程化缩放定律，并将其与大型语言模型进行类比。与自然语言或图像领域不同，基础物理学受益于高保真模拟器，这些模拟器能够经济高效地生成合成数据。这使得数据集工程能够影响模型缩放，倾向于更多数据而非更大的参数。对于区分强子射流的任务，一项研究表明，通过包含多样化且与任务对齐的预训练数据，可以改变缩放行为，使其需要更多数据。
-
从物理学视角探索深度学习的统计特性 · arXiv论文
arXiv上发表的一篇新论文从物理学角度探讨了深度学习的统计特性，并将其性能与经典统计学进行了对比。该研究考察了深度学习的关键特征和令人惊讶的方面，详细介绍了模型构建中涉及的选择。它特别回顾了神经缩放定律及其在物理学应用中与约束和归纳偏见（inductive biases）的相互作用。
-
神经缩放定律优化用于心脏成像分析的AI
研究人员将通常用于大型语言模型的神经缩放定律技术应用于优化医学图像分割的神经网络。通过从较小的数据子集中推断性能，他们识别出了超声心动图心肌分割的高效网络设计。所得模型在基准数据集上达到了最先进的性能，参数数量显著减少，并在心肌灌注定量方面展现出与资深心脏病专家相当的临床效用。
-
Mila、蒙特利尔大学、Google DeepMind 提出统一神经缩放定律
来自 Mila、蒙特利尔大学和 Google DeepMind 的研究人员引入了一个统一的神经缩放定律框架。这项研究旨在从单一视角解释模型、数据和计算缩放过程中的性能变化。拟议的定律有望用于估算训练预算、制定缩放策略和建立模型路线图。
-
新方法实现跨领域可泛化的神经网络缩放定律
研究人员开发了一种方法，可以创建可泛化应用于不同领域的神经网络缩放定律。这些定律预测了模型性能与数据或计算等资源之间的关系。新方法识别了关键的不变量，使得在一个领域拟合的缩放定律可以迁移到其他领域，即使在数据分辨率降低的转换下也是如此。这在语言、视觉和语音领域得到了验证，能够准确预测电子健康记录和嘈杂时间序列数据等专业应用。
-
新研究将优化器选择与LLM微调中遗忘减少联系起来
研究人员探讨了优化器一致性对大型语言模型微调的影响。一项研究表明，在预训练和微调过程中使用相同的优化器可以减少知识遗忘，并在新任务上获得更好的性能，这种现象被称为“优化器-模型一致性”。与LoRA等其他方法相比，这种方法可能提供更好的学习-遗忘权衡。另一篇论文引入了“谱边分析”来研究神经网络训练中的相变，将“grokking”和能力提升等现象与参数更新矩阵的谱隙联系起来。该框架表明，优化器的选择会影响这些动态，实验结果证实了在各种模型…