实体
SSMoE
SSMoE
PulseAugur coverage of SSMoE — every cluster mentioning SSMoE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
时间线
- 2026-06-01 research_milestone A new paper introduces the SSMoE framework, which uses eigenvectors of expert weight matrices to address expert collapse in SMoE models without additional training. 来源
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的STEAM框架通过分层预训练增强脑电图解码
研究人员开发了STEAM，一种用于解码脑电图（EEG）信号的新型框架。这种分层迁移学习方法旨在通过结合广泛的表示学习和专门的适应来提高脑机接口（BCI）的泛化能力和效率。该模型利用双分支时空编码器和软专家混合模块来促进互补表示之间的信息交换。在七个数据集和十四个场景的评估中，STEAM表现优于现有方法，同时保持了具有竞争力的计算成本。
-
ICML 2026：AI 在效率、理论和鲁棒性方面取得进展
在 ICML 2026 上发表的多篇研究论文探讨了 AI 的进展，重点关注效率、鲁棒性和新的理论框架。关键进展包括加速深度学习操作的新方法，如窗口化批矩阵乘法 (WBMM) 和高效的 4 位训练 (TetraJet-v2)。研究人员还通过 CPO 解决了模型对齐的理论挑战，并通过内部指标（如隐藏状态的 L2 范数）提出了理解和改进模型推理的新方法。
-
新的SSMoE框架使用特征向量解决SMoE模型崩溃问题
研究人员推出了一种名为奇异值分解SMoE (SSMoE) 的新框架，旨在解决稀疏专家混合 (SMoE) 模型中的专家崩溃问题。与需要大量训练或微调的先前方法不同，SSMoE无需训练，并利用专家权重矩阵的光谱特性，特别是其特征向量，来改进路由策略。这种方法在各种语言和视觉任务中表现出强大的泛化能力和鲁棒性，为增强SMoE架构性能提供了一种更有效的方式。