新的DAOP引擎优化内存受限设备上的MoE模型推理

研究人员开发了DAOP，这是一种新的设备端推理引擎，旨在优化混合专家（MoE）模型的性能，特别是在内存有限的设备上。DAOP根据激活模式动态地在CPU和GPU之间分配专家，并使用预测性预计算来最小化数据传输延迟。这种方法旨在提高资源利用率并保持模型准确性，其性能显著优于现有的缓存和卸载方法。 AI

影响 这项研究可能有助于在内存有限的边缘设备和系统上更有效地部署大型MoE模型。

排序理由 研究论文，详细介绍了一种优化MoE模型推理的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• central processing unit
• DagsHub
• graphics processing unit
• Hugging Face
• Mixture of Experts (MoE)
• Yujie Zhang

• 基础设施
• 论文

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →