研究人员推出了一种新颖的优化器Nora，旨在提高大型语言模型（LLM）训练的效率、稳定性和速度。与以往常常在这几个方面有所妥协的优化器不同，Nora旨在同时满足这三个要求。它通过投影行向动量来实现稳定性，并通过利用Transformer Hessian的块对角线占优来近似结构化预处理，同时保持最优的计算复杂度。 AI
影响 Nora的设计旨在提高LLM训练的效率和稳定性，可能加速大规模模型的开发。
排序理由 该集群包含一篇学术论文，详细介绍了一种用于优化LLM训练的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →