新的量化方法可实现大型MoE模型的高效服务

研究人员开发了一种名为Tied Trit-Planes (PTQTP) 的新型量化技术，将LLM权重矩阵约束为统一的九级量化器。该方法允许将两个三进制平面无损地折叠成单个4位代码平面，作为用于磁盘流式传输的混合专家模型的持久表示。将其应用于DeepSeek-V4-Flash-0731后，与4.5位基线相比，文件大小更小，解码速度更快，并且在MMLU等基准测试上的性能相当或有所提高，尽管权重重建误差较高。 AI

影响 这项量化技术有望在资源受限的设备上实现大型混合专家模型更高效的部署和服务。

排序理由 该集群包含一篇详细介绍LLM量化和服务的最新技术方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• AArch64
• DeepSeek-V4-Flash-0731
• Massive Multitask Language Understanding
• PTQTP
• Q4_K
• smithy
• x86-64

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →