实体
Model Size
Model Size
PulseAugur coverage of Model Size — every cluster mentioning Model Size across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLM预训练：领域数据重复的最佳次数与验证损失相关
一篇新的研究论文探讨了在大型语言模型（LLM）预训练过程中，领域特定数据的最佳重复次数。研究发现，随着模型规模的扩大和对更大训练代币预算的需求，高质量领域数据的最佳重复次数会随着模型尺寸的增加而略有增加，这与预期相反。这个最佳重复次数与领域最终验证损失的相关性比与可用唯一数据的量更强。研究结果表明，在较小模型上调整的重复策略可以作为较大模型的实际估计。
-
大型语言模型的事实回忆能力随模型大小和训练数据频率而扩展
研究人员发现，大型语言模型的事实回忆能力与其大小以及训练数据中主题的频率之间存在可预测的关系。通过对 38 个模型和 8,900 多篇学术参考文献进行评估，他们发现回忆质量遵循基于模型参数和主题表示组合的 S 形曲线。仅这些因素就解释了不同模型家族回忆性能差异的很大一部分。