实体
StickyMoE
StickyMoE
PulseAugur coverage of StickyMoE — every cluster mentioning StickyMoE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究量化了消费级硬件上MoE模型的内存带宽限制
一篇新的研究论文探讨了在消费级硬件上部署大型混合专家（MoE）模型的挑战，特别关注内存带宽瓶颈。该研究使用Qwen3模型量化了这种“带宽墙”，揭示解码速度受到来自SSD等较慢存储的数据传输的限制。虽然训练辅助损失可以提高可缓存性，但会以牺牲模型质量为代价，表明缺失减少和困惑度之间存在紧密的耦合关系。
-
新的训练方法提高了 MoE 模型在边缘设备的效率
研究人员开发了 StickyMoE，一种用于混合专家（MoE）模型的新训练方法，旨在提高在边缘设备的推理效率。该技术引入了一种可微分的路由一致性损失，该损失可以阻止连续标记之间的突然专家切换，从而促进语义相关文本跨度的稳定专家分配。与在预训练后应用修复的先前方法不同，StickyMoE 将此优化直接集成到训练过程中，使路由和专家表示能够共同演进。实验表明，专家切换率显著降低，对模型困惑度的影响最小，从而在质量和局部性方面实现了帕累托最优改进。