SliM-LLM

OpenPangu LLM 量化在 Ascend NPU 上的研究：8 位无损，4 位导致 1B 模型性能下降

一项新研究调查了在 Ascend NPU 上部署 OpenPangu 大型语言模型时，各种训练后量化方法的有效性。研究人员发现，8 位仅权重量化对于 1B 和 7B 参数模型几乎是无损的。然而，4 位量化在 1B 模型上表现出更显著的性能下降，尤其是在推理和编码任务中，而对于 7B 模型则仍然可行。研究还强调了超低精度量化的挑战，大多数 2 位和二值化设置导致性能接近随机。