Galore Gradient Low Rank Projection
PulseAugur coverage of Galore Gradient Low Rank Projection — every cluster mentioning Galore Gradient Low Rank Projection across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究质疑低秩训练对大型语言模型的稳定性
研究人员证明，用于训练大型语言模型的内存高效优化器（如 GaLore）所使用的低秩子空间假设并不像之前认为的那样稳定。他们的分析表明，在间隔重新计算的投影梯度子空间被噪声主导，并且不会持续追踪一个缓慢漂移的对象，尤其是在模型规模增加时。该研究表明，与其追踪子空间，不如将每次刷新视为 Adam 等优化器的坐标变化，特别是采用 LDAdam 方法，可以获得更好的结果。
-
大语言模型预训练研究探索稀疏与密集及低秩方法
两篇新研究论文探讨了大语言模型高效预训练的方法。第一篇论文在小规模上比较了密集和稀疏的专家混合（MoE）Transformer架构，发现MoE模型在匹配激活参数时能改善验证损失，但在总参数容量相等的情况下，其性能并不超过密集模型。第二篇论文研究了各种低秩预训练技术，表明即使验证困惑度相似，这些方法也会收敛到几何上不同的解，并且不能完全复制全秩训练的泛化能力或内部表示。
-
新方法通过高效、结构化的低秩调优增强大语言模型适应性
研究人员推出了一种名为 MLorc 的新方法，用于大语言模型的内存高效适应，该方法在训练过程中压缩参数动量。该方法旨在降低内存需求而不牺牲性能，其表现优于 LoRA 和 GaLore 等现有技术。同时，另一项研究通过信号处理的视角探讨了低秩适应（LoRA），分析了其架构和优化机制。此外，还开发了一个名为 StructLoRA 的新框架，通过过滤不相关的更新方向并确保层间一致性来改进 LoRA，从而在各种模型类型上取得了最先进的结果，且…