Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
PulseAugur coverage of Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity — every cluster mentioning Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
开放 MoE 模型在路由细节上存在分歧：DeepSeek、Qwen、Llama 4 对比
对开放式混合专家模型 (MoE) 的比较显示，尽管核心理念相同，但它们的路由机制却存在显著差异。模型的专家数量从 8 到 384 不等，每个 token 选择的专家数量从 1 到 8 不等。一些模型包含一个持续激活的共享专家，而另一些模型则完全省略了此功能。路由策略的选择会影响内存需求和计算效率，其中一些模型（如 DeepSeek-V4-Pro）需要多 GPU 设置，而另一些模型（如 gpt-oss-120b）则可以在单个 GPU 上运行。
-
MoE 路由策略详解：Top-K、Expert-Choice、Sigmoid Gating 和动态路由
混合专家（Mixture-of-Experts, MoE）路由策略对于大型语言模型的性能、负载均衡和成本至关重要。本指南详细介绍了七种生产级策略，包括 Top-K、Expert-Choice 和 Sigmoid Gating，并重点介绍了它们在 Mixtral、DeepSeek V4-Pro 和 Qwen3 等模型中的实现。关键发现表明，带有偏差平衡的 Sigmoid Gating 是前沿开放 MoE 模型中普遍采用的技术，与其他方法…
-
专家混合模型：高效大语言模型解析
本文探讨了专家混合模型（Mixture of Experts, MoE）的概念，这是一种创建计算高效的大语言模型的方法。MoE架构允许模型为每个输入选择性地激活其部分参数，与密集模型相比，显著降低了每个token的计算成本。这种方法，以Google的Switch Transformers等模型为例，并可能被GPT-4等模型采用，使得在参数量达到万亿级别时，无需不成比例地增加计算费用即可进行训练和部署。
-
专家混合（Mixture-of-Experts）架构主导大型语言模型发布，带来效率提升 · 已追踪2个来源
专家混合（Mixture-of-Experts, MoE）架构正日益主导大型语言模型领域，在2026年部署的七个最广泛使用的开源模型中，有六个采用了这种方法。该架构最早于2017年提出，它允许模型拥有海量参数（代表知识容量），但每次仅激活一小部分来处理输入令牌，从而显著降低了每令牌的计算成本。DeepSeek V4.1 Flash和Xiaomi MiMo-V2.6 Pro等近期发布的模型展示了这种效率，由于其稀疏激活，它们以更低的每令…
-
新的RAPTOR框架增强了MoE AI模型的私有训练
研究人员开发了RAPTOR，一种用于专家混合（MoE）模型差分私有训练的新颖框架。现有方法将这些稀疏模型视为密集块，导致梯度抑制和更新稀释等问题。RAPTOR通过交替共享和专家优化、采用专家特定裁剪和噪声，以及使用无隐私规则来选择免受路由熵影响的层来解决这些问题。在Switch Transformer和OLMoE等模型上的实验表明，与标准的DP基线相比，性能持续提升，尤其是在更严格的隐私预算下。