prefetch router

APEX 系统通过自适应预取提升边缘 MoE 推理效率

研究人员开发了 APEX，一个自适应专家预取系统，旨在提高混合专家（MoE）模型在边缘设备上的推理效率。MoE 模型因其高容量和选择性参数激活而适合边缘部署，但其性能常受限于专家参数的内存访问。APEX 利用轻量级预取路由器和学习到的置信度模型，主动预测和加载专家参数，将此加载过程与计算重叠。该方法在保持正确性模式下可实现超过 99% 的重叠准确率，并将每 token 延迟降低高达 26%，能耗延迟积提高高达 41%；无停顿模式则在对…