Mixture of Experts (MoE)
PulseAugur coverage of Mixture of Experts (MoE) — every cluster mentioning Mixture of Experts (MoE) across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
MoE research is increasingly focusing on dynamic expert selection and adaptation
Multiple recent papers introduce frameworks like ZEDA, Dynamic TMoE, and EMO that emphasize dynamic adjustments to the expert pool or routing mechanisms. ZEDA allows skipping experts, EMO progressively expands the pool, and Dynamic TMoE adapts experts based on distribution shifts. This trend indicates a shift from static MoE architectures towards more adaptive and efficient dynamic systems.
MoE efficiency frameworks (ZEDA, EMO) to see wider adoption in open-source models within 6 months
Recent research highlights multiple frameworks (ZEDA, EMO) focused on improving MoE efficiency through techniques like expert skipping and progressive expansion. The mention of MoE in Hugging Face's recent AI advancements suggests growing interest in the architecture. These efficiency gains are likely to be integrated into popular open-source MoE models to reduce inference costs and improve training times, making them more accessible.
Frameworks for MoE hyperparameter optimization (like Complete-muE) will become crucial for scaling MoE deployments
The introduction of Complete-muE specifically addresses the challenge of hyperparameter transfer in MoE models. As MoE architectures grow in complexity and size, efficiently tuning and transferring hyperparameters across different configurations will be essential for practical deployment and achieving optimal performance. This suggests a growing need for specialized tools to manage MoE at scale.
-
RoME引入鲁棒低秩专家以增强对抗防御能力
研究人员开发了RoME（鲁棒低秩专家混合模型），这是一种增强机器学习模型对抗鲁棒性的新方法。RoME采用专家混合（MoE）架构，其中每个专家是对共享骨干网络的低秩更新，能够更好地专门处理威胁特定特征，同时有效捕捉共性。该系统还结合了双尺度门控和威胁引导多样化，以确保在不同对抗性扰动下进行有效的路由和专家利用。实验表明，RoME在鲁棒性和自然准确性方面均优于当前最先进的方法，甚至提高了对先前未见威胁的抵抗能力。
-
Tencent 发布 Hy3，一个开放的 295B MoE 模型，支持 256K 上下文
Tencent 发布了 Hy3，一个开源的 2950 亿参数专家混合（MoE）模型，专为复杂推理、代理工作流和长上下文任务而设计。该模型每个 token 只激活 210 亿参数，在保持效率的同时支持 256K 的上下文窗口。Hy3 在编码、STEM 和推理任务等各种基准测试中表现出色，并经过特定训练以提高工具调用中的可靠性、减少幻觉并增强多轮意图跟踪。该模型可通过兼容 OpenAI 的 API 访问，并提供 `reasoning_ef…
-
ContiStain框架通过MoE和关系保持蒸馏改进虚拟IHC染色
研究人员开发了ContiStain，一个新颖的框架，旨在提高虚拟免疫组织化学（IHC）染色模型在处理顺序采集数据时的性能。该方法利用混合专家（MoE）特征提取器创建一个域感知结构化特征空间，有助于最小化不同生物标志物域之间的干扰。此外，ContiStain采用关系保持蒸馏策略，在持续适应过程中保持跨域令牌级余弦相似度矩阵的一致性，从而减少先前学习到的生物标志物的遗忘。
-
ai-sage 发布 4320 亿参数的 GigaChat 3.5 Ultra
ai-sage 发布了 GigaChat 3.5 Ultra，这是一款拥有 4320 亿参数的混合专家模型，专为多语言任务、推理和代码生成而设计。与前代 GigaChat 3.1 Ultra 相比，新版本体积缩小了约 40%，同时在编码和数学场景下性能有所提升。GigaChat 3.5 Ultra 采用混合注意力架构，结合了多头潜在注意力 (Multi-head Latent Attention) 和门控 Delta 网络 (Gate…
-
新方法旨在提高 Transformer 的效率和理解能力
研究人员开发了两种不同的方法来提高 Transformer 模型在训练和部署方面的效率和理解能力。一种名为 ExFusion 的方法提出了一种预训练技术，该技术在训练过程中将 Transformer 前馈网络中的多个专家融合为一个统一的专家，从而降低了计算成本和部署开销。另一个项目 H64LM 是一个从头开始用 PyTorch 构建的 2.49 亿参数的专家混合（MoE）Transformer，旨在通过手动实现注意力机制和 MoE 路…
-
新的 EPnG 框架提升了 MoE 模型微调的效率
研究人员开发了 EPnG，一种用于参数高效微调专家混合（MoE）模型的新框架。该方法通过剪枝利用率低的专家并增长高重要性的专家，在路由器门概率的指导下，自适应地重新分配微调容量。与 OLMoE 和 Qwen1.5-MoE 等 MoE 架构上的标准 LoRA 方法相比，EPnG 表现出更优越的性能，在更新显著更少比例的参数的同时，取得了与完全微调相当的结果。
-
NVIDIA 开源 NeMo AutoModel，MoE 微调速度提升 3.7 倍
NVIDIA 已开源 NeMo AutoModel，该工具旨在显著加速专家混合（MoE）AI 模型的微调。通过在现有的 Hugging Face Transformers v5 代码中添加一行导入，用户可以实现高达 3.7 倍的训练吞吐量提升，并将 GPU 内存使用量减少高达 32%。这种性能提升归功于专家并行、用于融合计算和通信的 DeepEP 以及用于内核加速的 Transformer Engine 等技术。
-
新的剪枝框架大幅缩小图像模型尺寸，支持24GB GPU推理
研究人员开发了一种树状混合策略剪枝（TMP）框架，旨在减少大规模图像生成模型的参数数量和计算需求。该框架适用于文本到图像和图像到图像任务，并支持混合专家（MoE）和扩散 transformer（DiT）等架构。实验表明，TMP能够将80B参数的HunyuanImage 3.0模型压缩至20B参数，使其能够在单块24GB GPU上进行推理，且生成质量损失极小。该框架还成功将Z-Image turbo模型从6B参数压缩到4B参数。
-
SharpMoE 通过精确路由提高扩散模型效率
研究人员推出了一种名为 SharpMoE 的训练后框架，旨在提高视觉生成扩散模型中专家混合（MoE）架构的效率。该框架解决了路由效率低下问题，现有模型由于依赖噪声损坏的潜在特征，未能为显著性 token 分配足够的计算资源。SharpMoE 利用干净的潜在特征进行无噪声引导，并结合轨迹路由损失，在整个去噪过程中精确分配资源，从而提高视觉生成任务的性能。
-
新的SPRI方法在数据受限情况下增强了AI模型升级
研究人员开发了一种名为SVD-Partitioned Residual Initialization (SPRI)的新方法，以改进将密集AI模型转换为更高效的专家混合（MoE）模型的过程，这项技术被称为MoE升级。该方法在处理数据有限的情况下尤其有益，因为它利用了预训练模型的结构，同时在专家之间引入了可控的多样性。SPRI在多语言语音转文本翻译任务中表现出显著的改进，优于标准的微调密集模型和以前的升级方法。
-
新理论解释MoE Transformer中的任务-专家专业化
研究人员开发了一个理论模型，使用离散语言表示来解释混合专家（MoE）Transformer模型中的任务-专家专业化。这项工作通过展示单层MoE Transformer如何通过特定任务的专家来编码知识，解决了现有连续模型的局限性。该模型表明，查询被路由到其大小由任务内在复杂性决定的专家，为MoE架构中观察到的局部知识电路提供了理论支持。
-
新方法允许 MoE 模型跳过超过一半的专家
研究人员开发了一个名为 Zero-Expert Self-Distillation Adaptation (ZEDA) 的新框架，以提高 Mixture-of-Experts (MoE) 语言模型的效率。ZEDA 允许经过后训练的静态 MoE 模型在推理过程中动态地跳过超过一半的专家，而准确性损失极小。该方法在 Qwen3-30B-A3B 和 GLM-4.7-Flash 上进行了测试，显示计算量显著减少，推理速度约提高了 1.20 倍。
-
新PADD框架将密集LLM知识蒸馏给MoE学生
研究人员推出了一种新颖的框架PADD，用于将密集语言模型的知识蒸馏给混合专家（MoE）学生模型。该方法旨在通过学习有效的路由策略来提高MoE模型的效率和性能。实验表明，经过PADD训练的MoE模型在保持相同推理成本的情况下，可以达到或超越其密集教师模型的性能。
-
UltraEP 系统优化 MoE 模型训练和推理
研究人员开发了 UltraEP，一个旨在优化大规模专家混合（MoE）模型在机架规模节点上训练和推理的新系统。该系统解决了专家负载不平衡的挑战，这种不平衡可能导致性能瓶颈和内存峰值。UltraEP 通过在微批次和层级基础上实时重新平衡专家，实现了近乎最优的负载均衡，与现有方法相比，显著提高了吞吐量并减少了不平衡。
-
大型查找层为稀疏模型提供高效替代方案
研究人员推出了一种新颖的稀疏语言模型架构——大型查找层（L$^3$），旨在通过使用静态令牌路由来改进混合专家（MoE）模型。这种方法通过在嵌入中缓存信息，使模型能够有效地平衡内存和计算，提供了一种系统友好的设计，可实现更快的训练和CPU卸载推理。在拥有高达26亿活跃参数的Transformer上的实验表明，L$^3$在语言建模和下游任务上的表现优于密集模型和同等稀疏度的MoE模型。
-
AnchorMoE 提供可解释的时间序列分类
研究人员推出了一种新颖的可解释时间序列分类框架 AnchorMoE。该方法利用专家混合（Mixture-of-Experts）架构，将预测分解为源自输入片段的可加分量，从而提供决策透明度。AnchorMoE 包含一个几何正交性约束以鼓励专家专业化，以及一个感知不确定性的门控机制来管理噪声，并在各种基准测试中展现出具有竞争力的性能。
-
新方法校准 MoE 模型合并以修复路由中断
研究人员发现，在合并专家混合（MoE）大型语言模型时存在一个重大问题，称为“路由中断”。当合并过程破坏 MoE 路由器的能力，使其无法将 token 正确导向相应的专家模型时，就会发生这种情况，从而导致性能下降。为了解决这个问题，他们提出了 Hessian-Aware Router Calibration (HARC)，这是一种新颖的无训练方法，利用二阶曲率信息来重新校准路由器。实验表明，HARC 在数学推理和代码生成等任务上能有效提高性能。
-
EMoE 方法估计文本到图像扩散模型中的不确定性
研究人员开发了一种名为 EMoE 的新方法，无需额外训练即可估计文本到图像扩散模型中的不确定性。EMoE 利用现有专家混合（MoE）扩散模型中不同“专家”路径之间的分歧。通过测量第一个去噪步骤后潜在表征的方差，EMoE 可以预测图像生成不匹配的可能性，为分析提示风险和模型偏差提供了一个实用工具。
-
Triton MoE kernel 在 AMD 和 NVIDIA 上实现高性能
一个新实现的、完全用 Triton 编写的 Fused Mixture-of-Experts (MoE) dispatch kernel，其性能达到了 Stanford 的 Megablocks 库的 89-131%。该 kernel 尤其值得注意的是，无需任何代码修改即可在 AMD MI300X 硬件上运行。主要优化在于融合了 gate 和 projection 操作，通过将中间结果保留在寄存器中，显著减少了全局内存流量。
-
Grouter方法通过解耦路由加速MoE模型训练
研究人员推出了一种新颖的训练混合专家（MoE）模型的方法——Grouter，该方法将路由策略与专家权重解耦。通过使用从预训练MoE模型派生的固定路由器，该方法加速了收敛并提高了训练稳定性。Grouter还结合了专家折叠和调优，以适应不同的模型配置和数据分布，从而在预训练数据利用率和吞吐量加速方面取得了显著的提升。