LDAdam

新研究质疑低秩训练对大型语言模型的稳定性

研究人员证明，用于训练大型语言模型的内存高效优化器（如 GaLore）所使用的低秩子空间假设并不像之前认为的那样稳定。他们的分析表明，在间隔重新计算的投影梯度子空间被噪声主导，并且不会持续追踪一个缓慢漂移的对象，尤其是在模型规模增加时。该研究表明，与其追踪子空间，不如将每次刷新视为 Adam 等优化器的坐标变化，特别是采用 LDAdam 方法，可以获得更好的结果。