Mixture of Experts (MoE)
PulseAugur coverage of Mixture of Experts (MoE) — every cluster mentioning Mixture of Experts (MoE) across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
MoE research is increasingly focusing on dynamic expert selection and adaptation
Multiple recent papers introduce frameworks like ZEDA, Dynamic TMoE, and EMO that emphasize dynamic adjustments to the expert pool or routing mechanisms. ZEDA allows skipping experts, EMO progressively expands the pool, and Dynamic TMoE adapts experts based on distribution shifts. This trend indicates a shift from static MoE architectures towards more adaptive and efficient dynamic systems.
MoE efficiency frameworks (ZEDA, EMO) to see wider adoption in open-source models within 6 months
Recent research highlights multiple frameworks (ZEDA, EMO) focused on improving MoE efficiency through techniques like expert skipping and progressive expansion. The mention of MoE in Hugging Face's recent AI advancements suggests growing interest in the architecture. These efficiency gains are likely to be integrated into popular open-source MoE models to reduce inference costs and improve training times, making them more accessible.
Frameworks for MoE hyperparameter optimization (like Complete-muE) will become crucial for scaling MoE deployments
The introduction of Complete-muE specifically addresses the challenge of hyperparameter transfer in MoE models. As MoE architectures grow in complexity and size, efficiently tuning and transferring hyperparameters across different configurations will be essential for practical deployment and achieving optimal performance. This suggests a growing need for specialized tools to manage MoE at scale.
-
新的 TPU 内核优化混合专家模型 LLM 推理
研究人员开发了 Fuse-All MoE,这是一种新颖的 TPU 内核,旨在优化混合专家(MoE)大型语言模型(LLM)的推理效率。该内核通过融合 token 收集、专家投影、门控激活和输出写入来解决数据移动和专家负载均衡中的瓶颈问题,并将专家计算中间结果保留在片上。实验表明,与现有基线相比,内核运行时间和延迟显著降低,服务吞吐量提高了高达 34.5%。
-
新的CoPre-MoE方法解决了多模态LLM的遗忘问题
研究人员推出CoPre-MoE,一种新颖的多模态持续指令调优方法,旨在防止大型语言模型中的灾难性遗忘。该方法通过将重叠的专家功能整合到共享池中,并将特定任务的专家分解为共享基底和私有核心,来解决混合专家(MoE)架构中的参数冗余和线性增长问题。CoPre-MoE利用可学习的检索键来路由,以在整合新功能的同时保留历史知识,并在实验中展示了显著的性能提升和参数开销的减少。
-
新的MoEResQ方法改进了混合专家LLM的FP4强化学习
研究人员开发了MoEResQ,一种将FP4强化学习(RL)应用于混合专家(MoE)大型语言模型的新方法。与适用于密集模型的先前方法不同,MoE架构独特的路由机制要求在训练和推理过程中对称地应用恢复技术以保持准确性。MoEResQ强制执行这种对称性,显著提高了训练-推理对齐度,并缩小了与全精度模型的准确性差距。
-
新的Systolic Linear Attention层提升了TPU处理大型模型的性能
研究人员开发了Systolic Linear Attention (SLA),这是一种针对Google TPU优化的新型注意力层。与为GPU调优的现有gated-delta attention层不同,SLA旨在利用TPU的宽矩阵单元,通过重塑注意力机制来提高效率。这种优化使得SLA在TPU v7x上的运行速度显著快于之前的实现,从而缩短了大型Mixture-of-Experts模型的训练时间。
-
PixelMoE 将 LLM 风格的混合专家模型应用于像素空间扩散模型
研究人员推出了一种新颖的像素空间扩散模型 PixelMoE,该模型利用 LLM 风格的混合专家模型 (MoE) 实现高效扩展。与传统的密集模型不同,PixelMoE 使用稀疏计算,并结合了细粒度的专家和用于共享表示的通用专家。这种方法与像素空间分层流匹配相结合,实现了输入自适应稀疏计算,并在不同模型规模下提高了性能。PixelMoE 在 ImageNet-1K 上取得了具有竞争力的 FID 分数,在活跃参数数量相当的情况下,其性能优于…
-
新研究通过先进的推测性解码技术加速 AI 模型生成 · 跟踪 10 个来源
2026 年 11 月在 arXiv 上发表的多篇研究论文介绍了加速大型语言模型推测性解码的新技术。这些方法侧重于优化草稿预测和验证过程,以实现更快的生成速度。创新包括固定预算分配和跨步训练 (FACT)、具有循环 KV 缓存的动态草稿更新 (LoopCache) 以及用于 SVG 生成的扩展验证窗口 (Sightline)。其他方法如 SpecSearch 旨在实现硬件感知优化,而 VisHead-Spec 通过路由视觉注意力来针对…
-
Specter 系统通过量化和推测卸载加速 MoE 推理
研究人员开发了 Specter,一个旨在加速专家混合(MoE)模型的新型推理系统,这些模型通常会超出单个加速器的内存容量。Specter 结合了量化、推测解码和专家卸载,以克服数据依赖路由引起的 PCIe I/O 瓶颈。通过使用轻量级的量化草稿模型来预测未来的专家需求,Specter 能够主动组织专家的移动和执行,从而提高通信效率。这种方法平均将每个输出令牌的时间速度提高了 1.50 倍,使得在单 GPU 系统上进行 MoE 推理更加可行。
-
MoE 模型预填充优化损害短问答 F1 损失
一篇新的研究论文探讨了在预填充阶段减少专家混合(MoE)模型中所用专家数量的性能影响。研究发现,虽然这种技术可以降低服务成本,但它会严重影响短问答的准确性,尤其是在关键提示词由较少专家处理时。研究表明,将这些少数全专家提示词策略性地放置在提示词的开头或结尾,可以减轻大部分性能下降。
-
新系统通过 CPU-GPU 协同优化 MoE LLM 推理
一个名为 \method 的新系统已被开发出来,以提高推理过程中混合专家(MoE)大语言模型(LLM)的效率。该系统通过智能地将专家分配给 CPU 或 GPU,解决了大型专家模型内存占用超出 GPU 容量的挑战。\method 选择性地将高负载专家转移到 GPU,同时在 CPU 上执行低负载专家,动态调整分配以最小化延迟。实验表明,与现有方法相比,预填充速度和解码吞吐量有了显著提高。
-
新的NatScale框架优化MoE模型量化
研究人员开发了NatScale,一个用于混合精度量化专家混合(MoE)语言模型的新框架。该方法旨在通过为专家分配不同的比特宽度来降低存储成本,这些宽度基于它们对错误的敏感度,而不是仅仅依赖专家排名。NatScale使用模型特定的幂变换来校准基于梯度的专家权重,以满足信息论的对比目标,同时还考虑了权重谱和方差等因素。在三个模型上的评估表明,与现有方法相比,NatScale显著降低了KL散度和困惑度,并提高了最高词元的一致性。
-
新的CAST方法通过自适应裁剪梯度改进LLM预训练
研究人员开发了CAST(Clipping with Adaptive Scales and Thresholds,具有自适应尺度和阈值的裁剪)方法,这是一种用于LLM预训练的新颖方法,它建立在软谱裁剪的基础上。CAST根据梯度的历史和估计的谱范数自适应地调整梯度尺度和裁剪阈值。当应用于在83.89B个token上训练的19.08B参数的Mixture of Experts模型时,CAST在九种其他梯度处理技术上表现出优越的性能,实现了…
-
MoE模型:通过预测算法实现专家负载稳定
研究人员开发了一种方法来稳定混合专家(MoE)模型中的专家负载分配,解决了阻碍并行化和资源利用率的专家负载波动问题。通过分析训练过程中的专家负载,他们识别了瞬态和稳定状态,并采用预测算法来准确预测专家负载比例。对于GPT3 350M模型,该方法在预测未来1000步和2000步的负载时,平均误差率分别约为1.3%和1.8%。这项工作为MoE模型训练中的专家放置和资源分配提供了指导。
-
SpecFit 通过降低专家传输成本优化 MoE 推理速度
研究人员开发了 SpecFit,一种优化专家混合(MoE)模型推理速度的新颖方法,特别是在其专家权重被卸载到主机内存时。SpecFit 专注于通过选择最小化专家在主机和设备之间传输成本的草稿令牌来最大化预测吞吐量。该方法估计预期的已提交令牌,并根据激活的专家预测周期时间,确保每个令牌仅贡献新激活专家的成本。在 CNN/DailyMail 摘要和 GSM8K 上使用 Qwen3-30B-A3B 模型进行的实验表明,SpecFit 在解码…
-
新方法解决MoE训练瓶颈,提高效率和可扩展性
两篇新的研究论文提出了在预训练期间优化专家混合(MoE)模型的方法,解决了阻碍可扩展性的显著通信开销。第一篇论文《MoE预训练中的专家耦合》引入了相关的专家放置和token打乱,以减少全对全通信,实现了高达1.41倍的步进时间缩减。第二篇论文《面向分布式MoE训练的内存高效专家路由》提出了RelayMoE,一种基于环的执行模型,可最大限度地减少内存使用并使通信与计算重叠,从而实现了高达2.02倍的吞吐量提升,并支持更长的序列长度。
-
Mistral AI发布具有100万token上下文窗口的Mistral Large 4
Mistral AI发布了Mistral Large 4,这是一款新的开放权重多模态模型,目前处于公开预览阶段。该模型拥有1.05万亿参数,采用了专家混合(MoE)架构,每个token仅激活490亿参数。它包含一个16亿参数的视觉编码器用于图像处理,并支持一百万token的上下文窗口。
-
MaskCoFT 微调提升 MoE 模型推理效率
研究人员开发了 MaskCoFT,一种旨在提高专家混合(MoE)语言模型在推理过程中效率的新型微调方法。该技术同时训练模型的路由器和专家,使它们能够相互适应。通过使用可学习的掩码来限制专家选择,MaskCoFT 减少了每个 token 的专家获取次数,并显著缩短了输出生成所需的时间。该方法在多个基准测试中保持了高准确性,证明了其在内存受限环境中优化 MoE 模型的有效性。
-
使用llama.cpp通过专家卸载在RTX 4090上运行100B+ MoE LLM
一份技术指南详细介绍了如何在单块RTX 4090等消费级GPU上运行大型混合专家(MoE)语言模型,特别是超过1000亿参数的模型。该方法被称为“专家卸载”,利用了MoE架构,其中每个token只激活模型参数的一个子集。这使得计算密集但间歇使用的“专家”层可以卸载到系统内存中,而持续访问的组件(如注意力机制)则保留在GPU上。该指南提供了硬件建议、llama.cpp工具的构建说明以及实现此卸载技术的命令行示例,并强调系统内存带宽是性能的关键因素。
-
新的SCOOT算法利用精英样本和MoE解决高风险运动控制问题
研究人员开发了一种名为状态条件射击(SCOOT)的新型深度强化学习算法,专为高风险、高精度运动控制任务设计。与通常可以纠正错误的DRL应用不同,SCOOT解决了具有不可逆动作和敏感奖励环境的任务。该算法通过将策略优化集中在精英样本上,采用混合专家(MoE)策略进行模式切换,并结合学习课程的距离正则化来探索多样化策略,从而增强了优势加权回归(AWR)。
-
新的ThunderEP设计提升消费级GPU上的MoE推理性能
研究人员开发了ThunderEP,这是一种新的通信设计,用于在通过PCIe连接的消费级GPU上高效运行大型专家混合(MoE)模型。该系统解决了这些设置中固有的通信瓶颈,数据传输通常涉及CPU。ThunderEP旨在绕过CPU中继跳跃并利用DMA引擎,避免与计算资源的争用,从而减少同步延迟。在配备RTX 4090和RTX 5090 GPU的系统上进行的评估表明,与NCCL等现有方法相比,速度显著提升,MoE推理的端到端改进高达1.66倍。
-
新的 ID Balancing 方法提高了稀疏 MoE LLM 训练的稳定性
研究人员推出了一种新颖的 ID Balancing 方法,用于训练极稀疏的专家混合(MoE)大语言模型(LLM)。该技术解决了专家负载不平衡的关键问题,而这个问题会阻碍模型扩展时的训练效率和稳定性。通过将现有方法视为 PID 控制器,ID Balancing 提出了一种积分-微分控制器,它能对显著的不平衡提供更强的校正,并在接近平衡时进行更精细的调整。评估表明,ID Balancing 显著降低了不平衡指标,并保持了有竞争力的性能,使…