Quadratic Spectral Descent

新的二次谱下降法提高了GPT预训练效率

研究人员开发了一种名为二次谱下降法（QSD）的新优化方法，该方法改进了用于训练大型语言模型的现有Muon算法。QSD将局部曲率信息纳入优化过程，可以改变最优更新的奇异值和方向。通过使用Kronecker因子统计量近似曲率并采用Frank-Wolfe方法，QSD变得实用。在GPT预训练上的实验表明，与Muon及其变体相比，QSD持续降低了验证损失，并将训练时间缩短了高达8.49%，同时达到了匹配的验证损失。