研究人员开发了AdaFRUGAL，一个旨在提高大型语言模型（LLM）训练内存效率的新框架。与之前需要手动调整超参数的方法不同，AdaFRUGAL使用动态控制来自动化这一过程。它采用子空间比率的线性衰减和用于更新频率的感知损失调度，已被证明可以在减少GPU内存和训练时间的同时保持具有竞争力的性能。 AI
影响 为资源受限的LLM训练提供了更实用、更自主的解决方案。
排序理由 这是一篇详细介绍LLM训练新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2601.11568v2 Announce Type: replace-cross Abstract: Training Large Language Models (LLMs) is highly memory-intensive due to optimizer state overhead. The FRUGAL framework mitigates this with gradient splitting, but its static hyperparameters -- the subspace ratio ($\rho$) a…