ModelBest 开发了一种名为 Lookahead Expert Scheduling 的技术,该技术允许一个拥有 350 亿参数的混合专家模型在 iPhone 18 Pro Max 上以超过每秒 20 个 token 的速度运行。该方法每个 token 激活约 30 亿个参数,专家权重按需从闪存加载。该公司还使用混合精度量化将模型的文件大小从 19.7GB 减少到 14.44GB,并且该代码已开源。 AI
影响 证明了在移动设备上运行大规模 MoE 模型的可行性,可能为更强大的设备端 AI 应用提供支持。
排序理由 将一种新颖的在消费设备上运行大型 MoE 模型的技术开源发布。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →