实体
KL-Shampoo
KL-Shampoo
PulseAugur coverage of KL-Shampoo — every cluster mentioning KL-Shampoo across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法提高了神经网络训练算法的效率
研究人员开发了一种新方法来重新参数化 Shampoo 和 SOAP 算法，提高了它们训练神经网络的效率。该技术支持 BFloat16 存储，从而减少内存使用量，并缓解了与此存储格式相关的性能下降。通过仅更新基向量的子空间，该方法显著降低了计算开销，使得基于 Shampoo 的方法在时间和内存方面更有效率，尤其适用于大型预处理矩阵。
-
Pro-KLShampoo优化器通过谱结构分析改进LLM预训练
研究人员开发了一种名为Pro-KLShampoo的优化技术，该技术结合了梯度预处理和正交化，以实现更高效的LLM预训练。该方法利用了在KL-Shampoo预处理器中观察到的尖峰和平坦特征值谱，通过将谱结构限制在跟踪的子空间内，并将正交化应用于剩余方向。在包括GPT-2和LLaMA模型在内的多个预训练规模上，Pro-KLShampoo在验证损失、内存使用和训练时间方面均优于标准的KL-Shampoo。