APEX 系统通过自适应预取提升边缘 MoE 推理效率

研究人员开发了 APEX，一个自适应专家预取系统，旨在提高混合专家（MoE）模型在边缘设备上的推理效率。MoE 模型因其高容量和选择性参数激活而适合边缘部署，但其性能常受限于专家参数的内存访问。APEX 利用轻量级预取路由器和学习到的置信度模型，主动预测和加载专家参数，将此加载过程与计算重叠。该方法在保持正确性模式下可实现超过 99% 的重叠准确率，并将每 token 延迟降低高达 26%，能耗延迟积提高高达 41%；无停顿模式则在对准确性影响极小的情况下提供进一步的效率提升。 AI

影响 提高了边缘 AI 部署的效率，有可能在资源受限的设备上部署更强大的 MoE 模型。

排序理由 该集群是一篇研究论文，详细介绍了一个用于优化 AI 模型推理的新系统。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• APEX
• Confidence modeling with reliability: a systems approach to sustainable energy planning
• Edge
• energy-delay product (EDP)
• Mixture of Experts (MoE)
• Off-Chip Memory Encryption and Integrity Protection Based on AES-GCM in Embedded Systems
• prefetch router

• 基础设施
• 论文

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →