一个名为 \method 的新系统已被开发出来，以提高推理过程中混合专家（MoE）大语言模型（LLM）的效率。该系统通过智能地将专家分配给 CPU 或 GPU，解决了大型专家模型内存占用超出 GPU 容量的挑战。\method 选择性地将高负载专家转移到 GPU，同时在 CPU 上执行低负载专家，动态调整分配以最小化延迟。实验表明，与现有方法相比，预填充速度和解码吞吐量有了显著提高。 AI
影响 提高了大型 MoE 模型推理的速度和效率，有望降低运营成本并改善用户体验。
排序理由 该集群描述了一篇详细介绍用于优化 AI 模型推理的新颖系统的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- central processing unit
- graphics processing unit
- Hugging Face
- \method
- Mixture of Experts (MoE)
- MoE LLMs
- PCI Express
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
