研究人员开发了 CanonQ，一个用于大型语言模型 (LLM) 极低比特量化的新颖框架。该方法通过采用统一的感知量化训练方法，解决了同时量化权重、激活和 KV 缓存的挑战。CanonQ 将源规范化与任务感知适应分离开来，使用固定的旋转和能量归一化将不同的张量源映射到规范坐标。这使得跨不同层和模型的冻结高斯参考码本得以重用，并通过联合训练使网络适应耦合的量化误差。该框架在 W2A4KV2 压缩下取得了显著的改进，在 LLaMA3 模型上实现了比最先进基线更好的困惑度和准确性。其优势也扩展到 Qwen3-1.7B 和指令微调的 MobileLLM-Pro-1B 等其他模型，在代码生成和数学推理任务中显示出实质性的提升。 AI
影响 能够更有效地在资源受限的设备上部署大型语言模型。
排序理由 该集群包含一篇详细介绍 LLM 压缩新方法的 ist 研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
