研究人员开发了一种名为 SoftWater 的新方法，用于量化大型语言模型的 softmax 输出层。该技术将量化视为一个率失真问题，以原始分布和量化分布之间的 KL 散度进行优化。SoftWater 根据类感知分配量化比特，为频繁的低方差类别分配更多精度，为稀有类别分配较少精度，这对于具有 Zipfian 令牌分布的模型尤其有效。该方法优于现有量化器，并在困惑度增加极小的情况下显著减小了模型的内存占用，使得头量化更加实用。 AI
影响 通过在性能下降极小的情况下显著降低内存需求，从而能够更有效地部署 LLM。
排序理由 关于 LLM 量化新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
