NatScale

新的NatScale框架优化MoE模型量化

研究人员开发了NatScale，一个用于混合精度量化专家混合（MoE）语言模型的新框架。该方法旨在通过为专家分配不同的比特宽度来降低存储成本，这些宽度基于它们对错误的敏感度，而不是仅仅依赖专家排名。NatScale使用模型特定的幂变换来校准基于梯度的专家权重，以满足信息论的对比目标，同时还考虑了权重谱和方差等因素。在三个模型上的评估表明，与现有方法相比，NatScale显著降低了KL散度和困惑度，并提高了最高词元的一致性。