研究人员开发了一种名为 Lookahead Expert Scheduling (LES) 的新颖技术,使大型专家混合(MoE)模型能够在移动设备上高效运行。该方法通过预测未来的专家需求并在计算过程中预加载它们,解决了从存储加载专家权重瓶颈的问题。在 iPhone 18 Pro Max 上使用 35B MoE 模型进行的演示实现,实现了每秒 20.51 个 token 的速度,相比基线性能有了显著提升,同时保持了模型准确性并最大限度地减少了内存使用。开源实现表明,这种方法可能适用于其他 MoE 模型。 AI
影响 这一发展可能显著降低在边缘设备上运行先进 AI 模型的门槛,从而实现新的移动应用程序和离线 AI 功能。
排序理由 该项目描述了一种在消费级硬件上运行大型 MoE 模型的新颖技术,详细介绍了性能改进和实现细节。[lever_c_demoted from research: ic=1 ai=1.0]
- 35B MoE
- DSpark
- iPhone
- iPhone 18 Pro Max
- llama.cpp-omni
- Lookahead Expert Scheduling (LES)
- MiniCPM-V 4.7
- OpenBMB
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →