研究人员已在混合专家(MoE)扩散语言模型的解码过程中识别出一个显著的瓶颈。他们发现,在权重量化之后,每个 token 的采样和停止管道(pipeline)而非专家计算,占用了像 NVIDIA GB10 Grace Blackwell 超级芯片这样的带宽受限硬件上的大部分解码时间。该研究提出了优化方案,包括一个融合的单通道熵核(entropy kernel)和 Gumbel-max 采样,这些方案可以在不影响 GSM8K 和 HumanEval 等基准测试准确性的情况下,实现高达 2.7 倍的加速。此性能问题特定于 MoE 扩散模型,尤其是在量化之后,在密集扩散模型中则不那么明显。 AI
影响 优化可以显著加快 MoE 扩散模型的推理速度,从而影响部署成本和性能。
排序理由 学术论文,详细介绍了 MoE 扩散模型的发现和提出的解决方案。[lever_c_demoted from research: ic=1 ai=1.0]
- GSM8K
- HumanEval
- LLaDA2.0-mini
- MoE Diffusion Decoding
- NVIDIA GB10 Grace Blackwell Superchip
- Ramakrishna Paramahamsa Kompella
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →