PulseAugur
中
实时 04:07:59
实体 Lookahead Expert Scheduling

Lookahead Expert Scheduling

PulseAugur coverage of Lookahead Expert Scheduling — every cluster mentioning Lookahead Expert Scheduling across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_350199 ·

    ModelBest 使 35B MoE 模型能在 iPhone 上以 20+ token/秒的速度运行

    ModelBest 开发了一种名为 Lookahead Expert Scheduling 的技术，该技术允许一个拥有 350 亿参数的混合专家模型在 iPhone 18 Pro Max 上以超过每秒 20 个 token 的速度运行。该方法每个 token 激活约 30 亿个参数，专家权重按需从闪存加载。该公司还使用混合精度量化将模型的文件大小从 19.7GB 减少到 14.44GB，并且该代码已开源。