Attn-QAT

Attn-QAT 实现了 LLM 稳定的4位注意力训练

研究人员开发了 Attn-QAT，一种用于大型语言模型注意力机制的4位量化感知训练的新颖方法。该方法解决了 FP4 计算中低精度带来的挑战，特别是对于对动态范围限制敏感的注意力分数。Attn-QAT 通过匹配反向传播中的低精度重计算并解决梯度计算中隐含的精度假设，提高了训练稳定性，在没有显式异常值缓解的情况下达到了与更高精度相当的质量。