PagedWeight 通过动态量化改进 MoE LLM 服务

一种名为 PagedWeight 的新方法已被开发出来，以提高服务混合专家（MoE）大型语言模型的效率。该方法在运行时动态量化 MoE 模型权重，将其精度与 KV 缓存的内存需求进行平衡。PagedWeight 旨在优化模型精度、内存消耗和吞吐量之间的权衡，与现有的量化基线相比，显示出显著的 GPU 内存节省和吞吐量改进。 AI

影响 该方法可以显著降低在生产环境中部署大型 MoE 模型的硬件成本和延迟。

排序理由 该项目是一篇研究论文，详细介绍了一种用于 LLM 服务的新技术方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• graphics processing unit
• half-precision floating-point format
• Hugging Face
• IArxiv
• KV cache
• large language models
• mixture of experts
• PagedWeight
• ScienceCast

• 基础设施
• 论文

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →