Oja++

Ori 优化器通过漂移感知 k-PCA 缩小 LLM 训练差距

研究人员开发了 Ori，一种用于训练大型语言模型 (LLM) 的新优化技术，解决了低秩训练的挑战。Ori 使用受 Oja++ 启发的漂移感知流式 k-PCA 算法，持续跟踪变化的梯度主方向。这种方法显著缩小了低秩和全秩 LLM 训练之间的性能差距，在 LLaMA 预训练任务上取得了高达 69.3% 的改进，并在 Roberta-Base 微调任务上优于其他方法。