Haiquan Qiu

Flash Attention低精度训练不稳定的解释

一篇新论文分析了使用低精度格式和Flash Attention训练Transformer模型为何会导致训练不稳定和损失爆炸。研究确定了两个关键因素：注意力机制中出现相似的低秩表示，以及低精度算术中累积的偏置舍入误差的复合效应。这些现象会产生一个错误累积的循环，从而破坏权重更新。作者提出对Flash Attention进行微小修改，以减轻舍入偏差，从而稳定训练并证实了他们的分析。