研究人员推出 KronQ，一个新颖的训练后量化 (PTQ) 框架，旨在更有效地压缩大型语言模型 (LLM)。与仅依赖激活统计数据的先前方法不同，KronQ 将梯度协方差纳入其量化目标。这种方法利用 Kronecker 因子 Hessian 近似，提高了权重幅度方差，并为混合精度分配提供了新指标。在对 LLaMA-3-70B 进行的实验中，KronQ 在 2 位仅权重量化中实现了 7.93 的困惑度，显著优于 GPTQ 和 GPTAQ 等导致退化量化的现有方法。 AI
影响 这项新的量化技术有望实现更高效的部署并降低大型语言模型的计算成本。
排序理由 该条目描述了一篇详细介绍新型 LLM 量化框架的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
