PulseAugur
实时 08:23:22
实体 Kempner Institute for the Study of Natural and Artificial Intelligence

Kempner Institute for the Study of Natural and Artificial Intelligence

PulseAugur coverage of Kempner Institute for the Study of Natural and Artificial Intelligence — every cluster mentioning Kempner Institute for the Study of Natural and Artificial Intelligence across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_158953 ·

    哈佛研究人员揭示预测 LLM 预训练动态的简单二次模型

    哈佛大学的研究人员开发了一个简单的二次模型,可以准确预测大型语言模型在预训练过程中的优化动态。通过将泰勒定理应用于真实的神经网络检查点,他们发现展开式中的高阶项在关键的预训练窗口内贡献很小,这表明潜在的动态本质上是二次的。这个简化的模型为确定最佳停止时间、批次大小和学习率等核心预训练挑战提供了精确的见解,有效地揭示了预训练过程的本质。