研究人员开发了EStream，这是一个旨在实现混合专家（MoE）大语言模型在移动神经网络处理单元（NPU）上高效执行的新颖系统。EStream通过将固定的NPU计算与动态的MoE决策分离，允许单个编译的专家图服务于所有专家，从而解决了移动设备上MoE预填充的挑战。该系统采用专家虚拟化来管理存储在闪存中的模型参数，将其加载到NPU可寻址的区域，而不会影响性能。在骁龙智能手机上的评估表明，与现有方法相比，速度显著提升，内存占用显著减少，使得高达467亿参数的MoE模型能够有效运行。 AI
影响 这项研究通过使更强大的MoE模型能够高效运行，有可能显著扩展移动设备上AI应用程序的功能。
排序理由 该条目是一篇学术论文，详细介绍了一种在移动硬件上运行大语言模型的新系统。[lever_c_demoted from research: ic=1 ai=1.0]
- EStream
- Innu-aimun
- Mixture-of-Experts (MoE)
- mobile NPUs
- National Pingtung University of Science and Technology
- Qualcomm Snapdragon
- University of the Free State
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
