研究人员开发了 Specter，一个旨在加速专家混合（MoE）模型的新型推理系统，这些模型通常会超出单个加速器的内存容量。Specter 结合了量化、推测解码和专家卸载，以克服数据依赖路由引起的 PCIe I/O 瓶颈。通过使用轻量级的量化草稿模型来预测未来的专家需求，Specter 能够主动组织专家的移动和执行，从而提高通信效率。这种方法平均将每个输出令牌的时间速度提高了 1.50 倍，使得在单 GPU 系统上进行 MoE 推理更加可行。 AI
影响 使得在通用硬件上对大型 MoE 模型进行更高效、更实用的推理成为可能。
排序理由 该集群描述了一篇详细介绍 MoE 模型新推理系统的研究论文。
在 Hugging Face Daily Papers 阅读 →
- arXiv
- DDR4 SDRAM
- Hugging Face
- Mixture of Experts (MoE)
- PCI Express
- quantization
- speculative decoding
- Wang Wenfeng
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
