实体 Sham Kakade

Sham Kakade

PulseAugur coverage of Sham Kakade — every cluster mentioning Sham Kakade across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_158953 · Jul 23 · 04:03

哈佛研究人员揭示预测 LLM 预训练动态的简单二次模型

哈佛大学的研究人员开发了一个简单的二次模型，可以准确预测大型语言模型在预训练过程中的优化动态。通过将泰勒定理应用于真实的神经网络检查点，他们发现展开式中的高阶项在关键的预训练窗口内贡献很小，这表明潜在的动态本质上是二次的。这个简化的模型为确定最佳停止时间、批次大小和学习率等核心预训练挑战提供了精确的见解，有效地揭示了预训练过程的本质。