LazyFlash

LazyFlash 通过新颖的稀疏注意力方法加速大语言模型微调

研究人员开发了 LazyFlash，这是一种新颖的注意力机制，旨在加速大语言模型（LLMs）在长上下文场景下的微调。LazyFlash 采用前向密集、后向稀疏的方法，确保训练后的模型与 vLLM 等现有推理系统兼容。通过识别并跳过在反向传播过程中对参数更新影响最小的梯度计算，LazyFlash 实现了显著的加速。实验表明，注意力反向传播速度最多可提高 5.7 倍，端到端训练速度可提高 1.7 倍，同时保持下游性能。