研究人员开发了一种新的面向数据的训练后量化(PTQ)方法,在将权重压缩到2比特时显著提高了模型精度。该方法侧重于三个关键选择:量化表示、校准数据和恢复微调数据。通过采用矢量码本而非标量PTQ,并仔细选择与任务对齐的校准和恢复数据,该技术可以保留全精度问答精度的89%至97%,优于传统方法,否则传统方法将导致仅凭运气获得性能。 AI
影响 这项研究通过改进压缩技术,有望在资源受限的设备上更有效地部署大型AI模型。
排序理由 这是一篇详细介绍模型量化新技术的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →