研究人员开发了 FusionML 系统，通过协同执行 CPU 和 GPU 操作来优化 Apple Silicon 上的 Transformer 推理。通过解决 MLX 调度器导致的串行化限制，FusionML 实现了 Transformer 预填充的行切分方法，使 Llama 模型提速 1.15 倍至 1.38 倍，Qwen2.5-7B 的首次 token 时间缩短 1.18 倍至 1.25 倍。该系统在多代 Apple Silicon 上的有效性得到了表征，研究结果表明解码操作并未受益，而某些训练场景或 Apple Neural Engine 会引入过高的开销。 AI
影响 优化 Apple Silicon 上的 AI 推理，可能提升设备端 AI 应用的性能。
排序理由 详细介绍在特定硬件上优化 AI 模型推理新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Apple Neural Engine
- Apple Silicon
- central processing unit
- graphics processing unit
- llama
- Mlx
- mlx-lm
- qwen2.5:7b
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
