English(EN) EStream: Fast and Memory-Efficient MoE Prefill through Expert Virtualization on Mobile NPUs

EStream 实现了移动NPU上MoE大语言模型的有效执行

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-10 04:00

研究人员开发了EStream，这是一个旨在实现混合专家（MoE）大语言模型在移动神经网络处理单元（NPU）上高效执行的新颖系统。EStream通过将固定的NPU计算与动态的MoE决策分离，允许单个编译的专家图服务于所有专家，从而解决了移动设备上MoE预填充的挑战。该系统采用专家虚拟化来管理存储在闪存中的模型参数，将其加载到NPU可寻址的区域，而不会影响性能。在骁龙智能手机上的评估表明，与现有方法相比，速度显著提升，内存占用显著减少，使得高达467亿参数的MoE模型能够有效运行。 AI

影响这项研究通过使更强大的MoE模型能够高效运行，有可能显著扩展移动设备上AI应用程序的功能。

排序理由该条目是一篇学术论文，详细介绍了一种在移动硬件上运行大语言模型的新系统。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 9 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目是一篇学术论文，详细介绍了一种在移动硬件上运行大语言模型的新系统。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Junming Zhang, Zhenzhe Zheng, Fan Wu, Xiaoyao Huang, Jie Wu · 2026-09-10 04:00

EStream：通过移动NPU上的专家虚拟化实现快速且内存高效的MoE预填充

arXiv:2609.06551v1 Announce Type: cross Abstract: Mobile vendors and application developers increasingly deploy LLMs on smartphones for diverse prefill-only services. Yet current systems rely mainly on dense models whose regular computation maps efficiently to mobile NPUs, leavin…

本文如何被排名

报道来源 [1]

EStream：通过移动NPU上的专家虚拟化实现快速且内存高效的MoE预填充

相关实体

相关话题