一篇新发表在arXiv上的论文提出，简单的二次模型可以出人意料地准确预测大型语言模型（LLM）的优化动态。研究人员通过分析这些模型的Hessian谱和局部稳定性，证明了他们可以在训练过程的很大一部分中预测优化行为。研究发现，LLM优化通常发生在随机稳定性边缘，并受批量大小和预处理程序等因素的影响。 AI
影响 提出了一个更简单的理论框架，用于理解和潜在地提高LLM训练效率。
排序理由 该集群包含一篇详细介绍新研究发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
