苹果公司的研究人员推出了一种名为PathMoE的新型专家混合（MoE）模型方法。该方法通过“专家路径”来观察计算过程，专家路径是指token在跨层选择专家的序列。研究发现，token倾向于集中在少量可能的路径上，这表明当前MoE架构存在统计效率低下问题。PathMoE旨在通过约束有效路径空间来放大这种自然的集中趋势，从而在困惑度（perplexity）和下游任务上实现比独立路由方法更一致的路由和更好的性能。 AI
影响 这项研究通过优化token在专家网络中的路由方式，有望实现更高效的稀疏AI模型。
排序理由 该集群包含一篇研究论文，详细介绍了某大型科技公司研究部门的新模型架构。[lever_c_demoted from research: ic=1 ai=1.0]
在 Apple Machine Learning Research 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
