Qwen MoE
PulseAugur coverage of Qwen MoE — every cluster mentioning Qwen MoE across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新算法Spectra优化用于AI训练的光交换机
一篇新论文提出了Spectra，这是一种旨在优化并行光路交换机（OCSes）调度以用于AI训练的算法。该方法解决了管理多个OCSes上的时变流量需求和重新配置延迟的挑战。Spectra将流量需求分解为加权置换，在交换机之间进行调度，并通过置换分割来平衡负载。在包括GPT和Qwen MoE在内的AI工作负载上的评估表明，与现有算法相比，Spectra显著缩短了调度完成时间。
-
HEAPr算法精确剪枝LLM专家，降低内存需求
研究人员开发了HEAPr，一种旨在减少混合专家（MoE）大型语言模型内存占用的新剪枝算法。与之前剪枝整个专家的旧方法不同，HEAPr将专家分解为更小的原子单元。这种方法利用原子专家输出的二阶信息，显著降低了计算复杂度，并实现了在精度损失最小的情况下进行更精确的压缩。在DeepSeek MoE和Qwen MoE等模型上的实验表明，HEAPr在高达25%的剪枝率下可以实现近乎无损的压缩，并将浮点运算次数（FLOPs）降低相似的幅度。
-
新框架增强了在嘈杂模拟硬件上的 MoE LLM
研究人员推出 ROMER，一个训练后校准框架，旨在增强混合专家（MoE）大型语言模型（LLM）在模拟内存计算（CIM）系统上部署时的鲁棒性。该框架通过替换利用率不足的专家并重新校准路由器决策，以在嘈杂条件下维持负载平衡和最佳路由，从而解决 CIM 中的硬件缺陷。实验表明，ROMER 在 DeepSeek-MoE、Qwen-MoE 和 OLMoE 等模型在真实芯片噪声下时，显著降低了困惑度。