Delayed Tensor Scaling (DTS)

新的量化感知训练方法实现近乎无损的大模型性能

研究人员开发了一种新的大语言模型（LLM）量化感知训练（QAT）方法，称为Max-Window Scale Estimation。该技术解决了两种失效模式：amax饱和（延迟的尺度估计会破坏表示）和灾难性遗忘（激进的学习率会抹去预训练知识）。通过采用保守的DTS策略和BF16预热，该方法显著降低了在MMLU和HellaSwag等基准测试上的性能下降，实现了近乎无损的结果，且训练损失偏差极小。