Mixture-of-Experts (MoE) models
PulseAugur coverage of Mixture-of-Experts (MoE) models — every cluster mentioning Mixture-of-Experts (MoE) models across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
RAZOR方法在不牺牲推理能力的情况下精简大型语言模型专家
研究人员开发了RAZOR，一种在不显著降低推理能力的情况下精简混合专家（MoE）模型中专家的新方法。与以往关注专家频率或孤立贡献的方法不同，RAZOR通过衡量专家删除造成的损害来评估功能可替换性。这种无需训练的方法使用共识残差来计算删除专家所产生的确切输出变化，仅通过前向传播即可实现精简。RAZOR在多个大型语言模型和专家移除预算上均表现出卓越的性能，在以推理为中心的任务上优于现有方法。
-
新的Director系统优化MoE模型服务，延迟最多可降低55%
研究人员开发了一个名为Director的新系统，用于优化混合专家（MoE）模型的服务。该系统通过采用一种由预测驱动的在线专家放置策略，解决了动态请求模式和专家迁移成本的挑战。Director利用一个轻量级预测器来预测传入请求的专家激活模式，并使用一个在线迁移模块以最小的干扰来执行更改。实验表明，与现有方法相比，Director可以将Mistral、DeepSeek和Qwen等热门MoE模型的端到端延迟降低11-55%。
-
Fireworks AI 实现万亿参数 MoE 模型训练
Fireworks AI 开发了新的训练基础设施，能够微调万亿参数的混合专家（MoE）模型，克服了之前的内存和编排瓶颈。该平台在最近发布的 Cursor Composer 2.5 中发挥了关键作用，Composer 2.5 是一个在多个基准测试中取得顶尖性能的编码模型。该系统利用低精度专家量化和优化器状态卸载等技术来管理大型 MoE 模型内存需求，使其更容易进行训练和微调。
-
新基准DBES评估MoE模型中的专家专业化
研究人员推出了DBES，这是一个新的基准和指标套件，旨在系统地评估专家混合（MoE）模型中的专家专业化。该框架通过将功能专业化与架构负载均衡分离开来，超越了传统的评估方法，采用了路由专业化和领域隔离等指标。研究揭示了Qwen系列、DeepSeek和GLM等模型中独特的专业化模式，并证明DBES指标可以指导训练后优化，从而在资源减少的情况下，在专业领域实现显著的性能提升。
-
AI 生产系统通过新的优化技术应对 MoE 挑战
SemiAnalysis 正在强调大规模 AI 模型（尤其是专家混合 (MoE) 架构）的生产系统挑战。他们指出，专家平衡和为不同工作负载分配专用资源等技术正从学术研究转向实际应用。稀疏注意力机制，以前仅限于基准测试，现在正被应用于生产系统，并引用了 DeepSeek Sparse Attention 和 NousResearch 的工作等示例。
-
Anyscale 为 vLLM 中的 MoE 模型增加了 Ray Serve 容错功能
Anyscale 为其 vLLM 服务引擎引入了新的容错功能，该引擎与 Ray Serve 集成。此增强功能专门解决了部署大型专家混合（MoE）模型的挑战，这些模型被分片到多个 GPU 上。当一个数据并行（DP）组中的单个 GPU 发生故障时，新系统现在可以识别并重新启动构成该 DP 组的整个 GPU 组，从而防止整个部署变得不可用。