研究人员证明，用于训练大型语言模型的内存高效优化器（如 GaLore）所使用的低秩子空间假设并不像之前认为的那样稳定。他们的分析表明，在间隔重新计算的投影梯度子空间被噪声主导，并且不会持续追踪一个缓慢漂移的对象，尤其是在模型规模增加时。该研究表明，与其追踪子空间，不如将每次刷新视为 Adam 等优化器的坐标变化，特别是采用 LDAdam 方法，可以获得更好的结果。 AI
影响 挑战了当前内存高效训练技术的有效性，可能指导未来大型模型的优化器开发。
排序理由 该集群包含一篇详细介绍大型语言模型训练方法新研究发现的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.05872v1 Announce Type: cross Abstract: Memory-efficient optimizers such as GaLore train large language models by projecting gradients onto a rank-r subspace recomputed every T steps, assuming this subspace is a slowly drifting object that can be tracked. We show that b…
Memory-efficient optimizers such as GaLore train large language models by projecting gradients onto a rank-r subspace recomputed every T steps, assuming this subspace is a slowly drifting object that can be tracked. We show that beyond a small reproducible core, there is no such …