DynaNDE

DynaNDE框架通过NPU-NDP调度提升MoE推理速度

研究人员开发了DynaNDE，一个动态调度框架，旨在加速基于神经网络处理单元（NPU）的系统上的批处理专家混合（MoE）模型推理。该框架利用近数据处理（NDP）来减少数据移动开销，这是MoE模型的一个主要瓶颈。DynaNDE包含一个分析性能模型，用于优化跨NPU和NDP的专家调度，并考虑硬件异构性和并发性。实验结果表明，与现有的最先进方法相比，DynaNDE在预填充阶段可实现2.6倍的平均加速，在解码阶段可实现2.2倍的平均加速。