Sparse Mixture of Experts
PulseAugur coverage of Sparse Mixture of Experts — every cluster mentioning Sparse Mixture of Experts across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究分析MoE模型校准和不连续性 · 追踪4个来源
两篇新研究论文探讨了专家混合（MoE）模型的复杂性，特别是关于校准和不连续性。第一篇论文研究了专家级校准如何在分布变化下影响MoE性能，并提出了一种对抗性重加权方法来提高软路由模型的准确性和校准性。第二篇论文对稀疏专家混合（SMoE）架构中的不连续性进行了严格的几何和随机分析，发现低阶不连续性占主导地位，并提出了一种平滑机制来增强语言和视觉任务中的连续性和经验性能。
-
新的SSMoE框架使用特征向量解决SMoE模型崩溃问题
研究人员推出了一种名为奇异值分解SMoE (SSMoE) 的新框架，旨在解决稀疏专家混合 (SMoE) 模型中的专家崩溃问题。与需要大量训练或微调的先前方法不同，SSMoE无需训练，并利用专家权重矩阵的光谱特性，特别是其特征向量，来改进路由策略。这种方法在各种语言和视觉任务中表现出强大的泛化能力和鲁棒性，为增强SMoE架构性能提供了一种更有效的方式。
-
JetBrains 发布高效 Mellum2 MoE 模型；研究推动 MoE 技术进步
JetBrains 发布了 Mellum2，一个开源的 120 亿参数专家混合（MoE）模型，针对文本和代码任务的高效推理进行了优化。该模型每个 token 只激活其参数的一小部分，从而实现更快、更低延迟的操作，适用于大型 AI 系统中的路由、RAG 管道和子代理任务。多篇研究论文还探讨了 MoE 架构的进展，包括 CRAFT 等高效服务技术、DAG-MoE 等新颖聚合方法、Kappa-SwiGLU 的自适应门控以及 ProbMoE …
-
大型语言模型探索偏好对齐和失败缓解技术
研究人员正在探索新的方法，以使大型语言模型（LLM）与人类偏好保持一致并缓解特定的失败模式。一种方法使用直接偏好优化（DPO）来利用模型自身的失败作为训练信号，从而减少OCR模型中的文本退化。其他研究侧重于理解和控制LLM的时间偏好推理，为个人代理开发轻量级的本地偏好工具包，以及创建以人为中心的偏好驱动判断框架。诸如“思想包含”（Inclusion-of-Thoughts）和“批判驱动推理对齐”（Critique-Driven Rea…
-
新研究优化稀疏专家混合模型以实现高效的LLM扩展
研究人员正在探索优化稀疏专家混合（SMoE）模型的新方法，这对于高效扩展大型语言模型至关重要。一篇论文揭示了路由器和专家之间的几何耦合，表明匹配的方向会累积相似的路由令牌历史，并且辅助负载均衡损失会破坏这种结构。另一项研究系统地分析了超过2000次预训练运行，以优化专家数量和粒度等设计选择，发现这些因素比共享专家或负载均衡机制等其他因素影响更大。第三篇论文介绍了DECO，一种专为端侧设备设计的SMoE架构，它以显著更少的激活参数匹配密…