Galore Gradient Low Rank Projection
PulseAugur coverage of Galore Gradient Low Rank Projection — every cluster mentioning Galore Gradient Low Rank Projection across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Ori 优化器通过漂移感知 k-PCA 缩小 LLM 训练差距
研究人员开发了 Ori，一种用于训练大型语言模型 (LLM) 的新优化技术，解决了低秩训练的挑战。Ori 使用受 Oja++ 启发的漂移感知流式 k-PCA 算法，持续跟踪变化的梯度主方向。这种方法显著缩小了低秩和全秩 LLM 训练之间的性能差距，在 LLaMA 预训练任务上取得了高达 69.3% 的改进，并在 Roberta-Base 微调任务上优于其他方法。
-
新研究为LLM提供先进的低秩压缩方案 · 追踪3个来源
三篇新研究论文介绍了使用低秩分解压缩大型语言模型（LLM）的先进技术。第一篇论文《Per-Matrix Optimality Is Not Enough》提出了一种三级优化策略，通过考虑Transformer块和整个模型，而不仅仅是单个矩阵，显著提高了困惑度。第二篇论文《UniRank》提出了一种统一的秩分配方法，根据局部能量和全局功能重要性对组件进行评分，实现了困惑度和准确度的显著提升。第三篇论文《MoARa》通过采用模块感知秩分配…
-
新研究质疑低秩训练对大型语言模型的稳定性
研究人员证明，用于训练大型语言模型的内存高效优化器（如 GaLore）所使用的低秩子空间假设并不像之前认为的那样稳定。他们的分析表明，在间隔重新计算的投影梯度子空间被噪声主导，并且不会持续追踪一个缓慢漂移的对象，尤其是在模型规模增加时。该研究表明，与其追踪子空间，不如将每次刷新视为 Adam 等优化器的坐标变化，特别是采用 LDAdam 方法，可以获得更好的结果。
-
大语言模型预训练研究探索稀疏与密集及低秩方法
两篇新研究论文探讨了大语言模型高效预训练的方法。第一篇论文在小规模上比较了密集和稀疏的专家混合（MoE）Transformer架构，发现MoE模型在匹配激活参数时能改善验证损失，但在总参数容量相等的情况下，其性能并不超过密集模型。第二篇论文研究了各种低秩预训练技术，表明即使验证困惑度相似，这些方法也会收敛到几何上不同的解，并且不能完全复制全秩训练的泛化能力或内部表示。
-
新方法通过高效、结构化的低秩调优增强大语言模型适应性
研究人员推出了一种名为 MLorc 的新方法，用于大语言模型的内存高效适应，该方法在训练过程中压缩参数动量。该方法旨在降低内存需求而不牺牲性能，其表现优于 LoRA 和 GaLore 等现有技术。同时，另一项研究通过信号处理的视角探讨了低秩适应（LoRA），分析了其架构和优化机制。此外，还开发了一个名为 StructLoRA 的新框架，通过过滤不相关的更新方向并确保层间一致性来改进 LoRA，从而在各种模型类型上取得了最先进的结果，且…