研究人员开发了E8-QAT,一个新颖的二比特量化感知训练框架,它利用E8格作为隐式码本。该方法通过算术投影高效地量化权重组,避免了在训练期间存储或搜索显式码本的需要。E8-QAT已在Qwen3.6-35B-A3B模型上证明了其有效性,在四个任务上达到了与全精度相当的性能,并在IFEval和LiveCodeBench上改进了最先进的基线。与bfloat16相比,该框架显著减少了80%的峰值内存,并将解码吞吐量提高了高达1.97倍。 AI
影响 通过显著减小内存占用和提高吞吐量,实现了大语言模型更高效的部署。
排序理由 该集群包含一篇详细介绍大语言模型量化新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →