Pro-KLShampoo

Pro-KLShampoo优化器通过谱结构分析改进LLM预训练

研究人员开发了一种名为Pro-KLShampoo的优化技术，该技术结合了梯度预处理和正交化，以实现更高效的LLM预训练。该方法利用了在KL-Shampoo预处理器中观察到的尖峰和平坦特征值谱，通过将谱结构限制在跟踪的子空间内，并将正交化应用于剩余方向。在包括GPT-2和LLaMA模型在内的多个预训练规模上，Pro-KLShampoo在验证损失、内存使用和训练时间方面均优于标准的KL-Shampoo。