研究人员开发了新的技术,通过量化来提高大型语言模型(LLM)的效率,量化是一个减少模型大小并加速推理的过程。SignRot 是一种新颖的方法,通过在 Hadamard 行内统一符号来解决离群激活的挑战,从而在 Llama3 70B 等模型上获得更好的性能。另外,GSQ 利用 Gumbel-Softmax 采样进行高精度低精度标量量化,缩小了简单标量方法和更复杂的向量量化方法之间的差距。另一篇论文探讨了用于 1 位 LLM 量化的保持几何的输出对齐,解决了误差累积和各向异性失真问题,以提高在具有挑战性的 1 位模型下的性能。 AI
影响 这些量化技术的进步可以显著减少运行 LLM 所需的计算资源,使它们更容易用于本地部署和专业应用。
排序理由 多篇研究论文详细介绍了 LLM 量化的新颖方法。
在 Hugging Face Daily Papers 阅读 →
- AQLM
- arXiv
- GGUF
- GPTQ
- Gumbel-Softmax
- Kimi K2.5
- Llama-3.1-70B-Instruct
- Llama-3.1-8B
- LLMs
- QTIP
- Hadamard Transforms
- Hugging Face
- Llama3 70B
- LLM
- quantization
- QuaRot
- SignRot
- Wikitext2
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →