Xiangyang Yin

CodeQuant 方法通过统一的聚类和量化增强低精度 MoE 模型

研究人员开发了一种名为 CodeQuant 的新方法，用于提高低精度大模型的准确性，特别是那些使用混合专家（MoE）架构的模型。该方法统一了聚类和量化，以平滑激活离群值并将权重离群值吸收到聚类中心，从而减少量化误差。CodeQuant 还采用了专为 GPU 和 CPU 设计的专用内核，与现有量化技术相比，实现了显著的速度提升和更高的准确性。