Neural Processing Units

新的量化框架提升设备端 LLM 性能

研究人员开发了 Quant.npu，一个专为移动神经网络处理单元 (NPU) 上的大型语言模型 (LLM) 效率而设计的全静态量化新框架。该方法通过引入可学习的量化参数和旋转矩阵，解决了现有动态量化技术与 NPU 硬件不兼容的问题。Quant.npu 还引入了定制的初始化策略和两阶段优化流程，以确保稳定的训练并适应不同的激活分布，最终在保持与当前最先进方法相当的准确性的同时，将推理延迟降低高达 15.1%。