实体
Neural Scaling Laws
Neural Scaling Laws
PulseAugur coverage of Neural Scaling Laws — every cluster mentioning Neural Scaling Laws across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
最近 · 第 1/1 页 · 共 2 条
-
新方法实现跨领域可泛化的神经网络缩放定律
研究人员开发了一种方法，可以创建可泛化应用于不同领域的神经网络缩放定律。这些定律预测了模型性能与数据或计算等资源之间的关系。新方法识别了关键的不变量，使得在一个领域拟合的缩放定律可以迁移到其他领域，即使在数据分辨率降低的转换下也是如此。这在语言、视觉和语音领域得到了验证，能够准确预测电子健康记录和嘈杂时间序列数据等专业应用。
-
New research links optimizer choice to reduced forgetting in LLM finetuning
Researchers have explored the impact of optimizer consistency during the fine-tuning of large language models. One study suggests that using the same optimizer for both pre-training and fine-tuning leads to less knowled…