Nakatsukasa & Freund

新的Polar Express方法加速了用于深度学习的矩阵分解

研究人员开发了一种新的、对GPU友好的算法Polar Express，用于计算矩阵分解，这对于训练深度神经网络中使用的Muon优化器至关重要。该方法通过在最坏情况下最小化误差来优化GPU上的高吞吐量并实现快速收敛。当与Muon优化器集成时，Polar Express在大型数据集上训练的GPT-2模型中表现出改进的验证损失，优于现有替代方案。