实体
MobileMoE
MobileMoE
PulseAugur coverage of MobileMoE — every cluster mentioning MobileMoE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
时间线
最近 · 第 1/1 页 · 共 2 条
-
Meta 发布 MobileMoE 系列设备端 LLM
Meta 发布了 MobileMoE，这是一系列设备端专家混合（Mixture-of-Experts）语言模型，专为移动设备的效率而设计。这些模型具有十亿以下的激活参数，并提供三种规模（S/M/L），激活参数数量分别为 0.3B、0.5B 和 0.9B。每种规模都有 Base、SFT 和 QAT 版本，权重小于 3 GB，可适应移动 DRAM。
-
MobileMoE模型为端侧LLM树立了新的效率标杆
研究人员推出MobileMoE，这是一系列专为移动部署设计的新型端侧专家混合（MoE）语言模型。这些模型拥有不足十亿的激活参数，通过优化MoE架构以适应移动设备的内存和计算限制，为端侧LLM树立了新的性能标杆。与领先的密集LLM和现有的MoE模型相比，MobileMoE模型在14项基准测试中表现出竞争力或更优的性能，同时使用的FLOPs和参数显著减少。该项目还实现了智能手机上首个高效MoE推理，展示了预填充和解码时间的显著加速。