PulseAugur
中
实时 17:53:59
English(EN) BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal

新的运行时和基准测试提升 Apple Silicon 上的 LLM 推理性能

作者 PulseAugur 编辑部 · [3 个来源] ·

研究人员开发了在 Apple Silicon 上优化大型语言模型 (LLM) 推理的新方法。第一种方法 BaseRT 是一个原生 Metal 运行时，通过针对 Metal 的执行模型和 Apple Silicon 的统一内存进行优化，实现了比现有框架更高的推理吞吐量。它支持各种模型系列和量化，在 M3 和 M4 Pro 设备上展示了显著的性能提升。第二项贡献 Metal-Sci 是一个用于评估 Apple Silicon 上 LLM 内核搜索的基准套件，包含跨不同优化机制的十项任务。该基准测试与进化搜索框架结合使用时，在 Claude Opus 4.7、Gemini 3.1 Pro 和 GPT 5.5 等模型上实现了显著的分布内加速，同时也强调了分布外测试对于捕获无声回归的重要性。 AI

影响 对 Apple Silicon 的优化可以实现更强大的设备端 AI 应用，减少对云基础设施的依赖。

排序理由 该集群描述了详细介绍 LLM 在特定硬件上推理的新软件运行时和基准测试的新研究论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →

新的运行时和基准测试提升 Apple Silicon 上的 LLM 推理性能

报道来源 [3]

  1. arXiv cs.AI TIER_1 English(EN) · Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann ·

    BaseRT：通过原生Metal在Apple Silicon上实现同类最佳的LLM推理

    arXiv:2607.00501v1 Announce Type: cross Abstract: We present BaseRT, a native Metal inference runtime for large language models (LLMs) on Apple Silicon, and report the highest inference throughput on this hardware to date. Existing runtimes, including llama.cpp and MLX-based fram…

  2. arXiv cs.AI TIER_1 English(EN) · Lukas Wesemann ·

    BaseRT：通过原生Metal在Apple Silicon上实现同类最佳的LLM推理

    We present BaseRT, a native Metal inference runtime for large language models (LLMs) on Apple Silicon, and report the highest inference throughput on this hardware to date. Existing runtimes, including llama.cpp and MLX-based frameworks, incur overhead from abstractions not desig…

  3. arXiv cs.AI TIER_1 English(EN) · V\'ictor Gallego ·

    Metal-Sci：Apple Silicon 上用于进化式 LLM 内核搜索的科学计算基准测试

    arXiv:2605.09708v2 Announce Type: replace-cross Abstract: We present Metal-Sci, a 10-task benchmark of scientific Apple Silicon Metal compute kernels spanning six optimization regimes (stencils, all-pairs in $n$-body problems, multi-field Boltzmann, neighbor-list molecular dynami…

相关实体

相关话题