PulseAugur
中
实时 20:03:59
English(EN) 35B MoE running at 20.5 tok/s on an iPhone, without skipping experts

新技术使 35B MoE 模型能够在 iPhone 上以 20.5 tok/s 的速度运行

研究人员开发了一种名为 Lookahead Expert Scheduling (LES) 的新颖技术,使大型专家混合(MoE)模型能够在移动设备上高效运行。该方法通过预测未来的专家需求并在计算过程中预加载它们,解决了从存储加载专家权重瓶颈的问题。在 iPhone 18 Pro Max 上使用 35B MoE 模型进行的演示实现,实现了每秒 20.51 个 token 的速度,相比基线性能有了显著提升,同时保持了模型准确性并最大限度地减少了内存使用。开源实现表明,这种方法可能适用于其他 MoE 模型。 AI

影响 这一发展可能显著降低在边缘设备上运行先进 AI 模型的门槛,从而实现新的移动应用程序和离线 AI 功能。

排序理由 该项目描述了一种在消费级硬件上运行大型 MoE 模型的新颖技术,详细介绍了性能改进和实现细节。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新技术使 35B MoE 模型能够在 iPhone 上以 20.5 tok/s 的速度运行

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该项目描述了一种在消费级硬件上运行大型 MoE 模型的新颖技术,详细介绍了性能改进和实现细节。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
4 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/GasSmooth7439 ·

    35B MoE running at 20.5 tok/s on an iPhone, without skipping experts

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1xbmsgf/35b_moe_running_at_205_toks_on_an_iphone_without/"> <img alt="35B MoE running at 20.5 tok/s on an iPhone, without skipping experts" src="https://external-preview.redd.it/Ynd5NnNjbG5rdHdoMfdaeANPnaE43lU…