English(EN) ZeRO-Prefill: Zero Redundancy Overheads in MoE Prefill Serving

ZeRO-Prefill系统将MoE预填充服务效率提升1.37倍

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-06 04:00

研究人员开发了ZeRO-Prefill，一个旨在提高混合专家（MoE）模型预填充工作负载服务效率的新系统。这种新方法将专家放置与同步激活路由解耦，允许异步权重收集，从而与计算重叠。ZeRO-Prefill旨在克服当前MoE服务策略中固有的内存和通信瓶颈，尤其是在分类和推荐等任务中。 AI

影响引入了一种提高MoE模型服务效率的方法，有可能降低特定AI任务的延迟并提高吞吐量。

排序理由学术论文，详细介绍了一种优化MoE模型服务的新系统。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Zhaoyuan Su, Olatunji Ruwase, Karthik Ganesan, Aurick Qiao, Samyam Rajbhandari, Juncheng Yang, Yue Cheng, Yuxiong He · 2026-05-06 04:00

ZeRO-Prefill: Zero Redundancy Overheads in MoE Prefill Serving

arXiv:2605.02960v1 Announce Type: new Abstract: Production LLM workloads increasingly serve discriminative tasks, such as classification, recommendation, and verification, whose answers are read from the logits of a single prefill pass with no autoregressive decoding. Serving the…