FusionML 通过 CPU-GPU 协同执行提升 Apple Silicon 的 AI 推理性能

研究人员开发了 FusionML 系统，通过协同执行 CPU 和 GPU 操作来优化 Apple Silicon 上的 Transformer 推理。通过解决 MLX 调度器导致的串行化限制，FusionML 实现了 Transformer 预填充的行切分方法，使 Llama 模型提速 1.15 倍至 1.38 倍，Qwen2.5-7B 的首次 token 时间缩短 1.18 倍至 1.25 倍。该系统在多代 Apple Silicon 上的有效性得到了表征，研究结果表明解码操作并未受益，而某些训练场景或 Apple Neural Engine 会引入过高的开销。 AI

影响 优化 Apple Silicon 上的 AI 推理，可能提升设备端 AI 应用的性能。

排序理由 详细介绍在特定硬件上优化 AI 模型推理新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• Apple Neural Engine
• Apple Silicon
• central processing unit
• graphics processing unit
• llama
• Mlx
• mlx-lm
• qwen2.5:7b

• 基础设施
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →