PulseAugur
实时 15:30:13
English(EN) Apple announced new on device inference engine for Apple Silicon

Apple 发布 CoreAI,用于 Apple Silicon 上的设备端推理

Apple 推出了 CoreAI,这是一款新的设备端推理引擎,旨在取代 CoreML,并为 MLXllama.cpp 等现有框架提供替代方案。该引擎针对 Apple Silicon 进行了优化,特别是针对移动设备,并支持更大的模型,包括一个拥有 200 亿参数的基础模型。虽然性能比较尚待公布,但 CoreAI 旨在使更复杂的 AI 模型能够直接在应用程序中部署。 AI

影响 使更大、更复杂的 AI 模型能够直接在 Apple 设备上运行,从而可能增加设备端 AI 功能的采用率。

排序理由 这是 Apple 的一款新产品发布,但不是前沿模型发布。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/bakawolf123 ·

    Apple announced new on device inference engine for Apple Silicon

    <!-- SC_OFF --><div class="md"><p>This news seem to have flown under the radar. Apple announced CoreAI on WWDC which is basically a future replacement for CoreML and an alternative to MLX/llama.cpp/torch for on-device optimized inference, especially on phones and tablets. </p> <p…