新的Polar Express方法加速了用于深度学习的矩阵分解

研究人员开发了一种新的、对GPU友好的算法Polar Express，用于计算矩阵分解，这对于训练深度神经网络中使用的Muon优化器至关重要。该方法通过在最坏情况下最小化误差来优化GPU上的高吞吐量并实现快速收敛。当与Muon优化器集成时，Polar Express在大型数据集上训练的GPT-2模型中表现出改进的验证损失，优于现有替代方案。 AI

影响 引入了一种更有效的基于GPU的深度学习优化方法，有可能加速GPT-2等模型的训练。

排序理由 学术论文，介绍了一种用于深度学习优化的新数值方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• bfloat16
• Chen & Chow
• FineWeb
• GPT-2
• GPU
• Muon
• Nakatsukasa & Freund

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →