Apple Neural Engine
PulseAugur coverage of Apple Neural Engine — every cluster mentioning Apple Neural Engine across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Qwen3.8-27B 模型现已在配备 32GB RAM 的 M6 Mac mini 上运行
ANEMLL Forge 0.2.1 软件更新使拥有 32GB RAM 的 M6 Mac mini 用户能够运行 Qwen3.8-27B 大型语言模型。此次更新引入了 K/V 缓存的 INT8 量化，在保持速度的同时将内存使用量减少了 0.86 GB。性能基准测试显示，根据内容类型的不同，令牌生成速度各不相同，并针对长达 192K 令牌的更长上下文进行了优化预填充批次。
-
AI 笔记涵盖 MLX、图像生成和通用 AI 主题
该集群汇总了一位 Mastodon 用户关于人工智能多个方面的笔记和链接。它包括关于人工智能和机器学习的通用讨论，重点关注 Stable Diffusion、DALL-E 和 Midjourney 等 AI 图像生成工具，以及关于 Apple Silicon 上用于 AI 任务的 Apple MLX 框架和神经网络引擎 (ANE) 的具体信息。
-
iPhone 17 Pro Max作为MacBook的辅助GPU，提升Qwen 3.8-27B性能
一位用户成功地将iPhone 17 Pro Max重新用作其24GB MacBook的辅助GPU，显著提升了Qwen 3.8-27B语言模型的性能。通过将部分计算层和部分上下文窗口卸载到iPhone的GPU和神经网络引擎，用户在不同上下文长度下实现了29%至44%的预填充速度提升。这种设置使MacBook能够处理更大的上下文窗口，将可用内存扩展到超出其原生容量，并提高大型语言模型的整体推理速度。
-
NobodyWho 和 Cactus：设备端 LLM 引擎比较
一项技术比较重点介绍了两个设备端 LLM 推理引擎 NobodyWho 和 Cactus，详细说明了它们在引擎设计、模型格式、硬件加速和许可方面的差异。NobodyWho 利用 llama.cpp 并直接支持现有的 GGUF 模型格式，提供广泛的兼容性。Cactus 采用专有的量化格式 (CQ) 和自己的引擎，针对具有特定 ARM NEON SIMD 和 Metal 支持的移动处理器进行了优化，但计划支持 NPU。虽然 NobodyW…
-
Apple's Neural Engine Architecture Explored Amidst Integration Shift
一篇技术深度分析文章，探讨了苹果神经网络引擎（ANE）的逆向工程架构，该引擎最初是为CNN工作负载设计的。作者指出，虽然ANE的核心计算单元对于Transformer模型仍然具有相关性，但苹果最近决定将M5芯片上的ANE核心集成到GPU核心中，这可能标志着独立NPU的终结。这一转变反映了行业从专用CNN加速器转向更通用的GPU架构以处理现代AI任务的广泛趋势。
-
Apple Neural Engine：在不使用 CPU 或 GPU 的情况下运行模型
本文深入探讨了 Apple Neural Engine (ANE) 的内部工作原理，重点关注其超越传统 CPU 和 GPU 处理的能力。文章探讨了如何优化模型，特别是 Qwen 模型，使其能够直接在 ANE 上执行，绕过传统的硬件加速器。该文章是 ANE 逆向工程工作的延续。
-
较旧的 LLM 量化格式在 Apple M2 上优于较新的格式
最近在 Apple M2 笔记本电脑上对两个本地大型语言模型 (LLM) 进行的测试显示，较旧的 Q4_K_M 量化格式的表现优于较新的 MXFP4 格式。Q4_K_M 格式实现了每秒 4.7 个 token，在 44 秒内完成了 200 个 token 的生成，而 MXFP4 仅达到每秒 2.6 个 token，完成相同任务耗时 71 秒。作者推测，MXFP4 在 M2 芯片上的性能受到反量化成本以及其依赖的硬件功能 M2 不完全支…
-
Apple发布M6和M5 Ultra芯片，以增强AI性能
Apple发布了其新款M6和M5 Ultra芯片，旨在显著提升Mac设备的性能和AI能力。M6芯片采用2nm工艺制造，配备增强型CPU、GPU和双16核神经网络引擎，可实现更快的设备端AI处理。M5 Ultra采用四芯片设计架构，在CPU、GPU和内存带宽方面进行了大幅升级，成为Apple迄今为止最强大的芯片，可满足要求严苛的专业和AI工作负载。
-
Apple Silicon AI 工具利用 MLX 框架和神经网络引擎
已发布一套针对 Apple 的 MLX 数组框架和神经网络引擎进行优化的工具、框架和模型。该计划旨在利用 Apple Silicon 的能力进行 AI 开发。MLX 被呈现为 Apple 替代 PyTorch 等流行框架的方案。
-
随着云依赖性下降，离线听写应用应运而生
作者详细介绍了他们如何构建了一个名为 DictaFlow 的离线听写应用程序，该程序可以在 Windows 笔记本电脑、Mac 和 iPhone 等设备上本地运行语音识别模型。这与 Wispr Flow 等仍需要互联网连接才能进行听写的服务形成了对比。文章强调，现代硬件和开源模型（如 NVIDIA 的 Parakeet TDT 0.6B v3 和 OpenAI 的 Whisper）现在可以在不依赖云服务器的情况下执行转录，使得离线听写…
-
FusionML 通过 CPU-GPU 协同执行提升 Apple Silicon 的 AI 推理性能
研究人员开发了 FusionML 系统，通过协同执行 CPU 和 GPU 操作来优化 Apple Silicon 上的 Transformer 推理。通过解决 MLX 调度器导致的串行化限制，FusionML 实现了 Transformer 预填充的行切分方法，使 Llama 模型提速 1.15 倍至 1.38 倍，Qwen2.5-7B 的首次 token 时间缩短 1.18 倍至 1.25 倍。该系统在多代 Apple Silico…
-
SigLIP 2 等设备端 AI 模型展示本地处理能力
SigLIP 2 等设备端 AI 模型在 Apple Neural Engine 上运行，证明了完全本地化个人 AI 的可行性。目前的发展旨在将此能力扩展到微控制器等资源受限的设备，强调隐私、离线功能以及独立于云服务。
-
本地AI通过企业解决方案和内置硬件模型获得关注
本地AI功能正通过几项关键进展而不断发展，包括面向企业的生产就绪型开源智能体AI，以及将本地LLM集成到日常硬件和软件中。Red Hat详细介绍了一种在本地使用开源模型进行操作任务的方法，重点关注安全性和成本效益。同时，Apple Silicon Mac被发现通过第三方工具可访问内置的基础模型，从而实现离线、私密的AI功能，用于文本处理和智能家居控制等任务。此外，Sigma浏览器现在包含自己的本地LLM，直接在浏览器中提供私密的AI聊天功能。
-
Apple的SpeechAnalyzer API提升设备端转录速度
Apple推出了其SpeechAnalyzer API，专为设备端英语语音转录而设计。该新API利用Apple Neural Engine在速度和准确性方面取得了显著改进，据报道比Whisper Small快三倍，词错误率（WER）为2.12%。尽管取得了这些进展，该API目前的局限性包括仅支持英语以及缺乏说话人分离功能。
-
Apple's failed car project seeded powerful AI chip legacy
Apple's defunct self-driving car initiative inadvertently spurred the development of its powerful AI chips. The project's need for on-device AI processing led to the creation of the Neural Engine, which is now a core co…
-
Espresso 支持在 Apple Neural Engine 上进行设备端 transformer 训练
一个名为 Espresso 的新开源项目允许开发者直接在 Apple 的 Neural Engine 上训练和运行 transformer 模型。这使得在 Apple 硬件上运行的应用程序能够实现设备端 AI 处理。该项目可在 GitHub 上获取，旨在利用专用硬件高效执行 AI 模型。
-
新论文详解Apple Neural Engine的架构与性能
一篇新论文详细介绍了Apple Neural Engine的架构、编程和性能。该文件深入探讨了这款芯片的硬件和软件方面，该芯片旨在加速Apple设备上的机器学习任务。它探讨了开发人员如何利用Neural Engine来增强AI功能。
-
Apple MLX 支持在 Mac 设备上本地微调 AI 模型
Apple 发布了 MLX，这是一个针对其 silicon 优化的机器学习框架，使用户能够在 Mac 设备上本地微调语言模型。该框架无需云 GPU 和相关费用，使得本地 AI 模型训练更加便捷。MLX 旨在利用 Apple 的 Neural Engine 提升性能。
-
ANEForge 支持 Apple Neural Engine 的直接 Python 编程
一个名为 ANEForge 的新 Python 包允许开发者直接对 Apple Neural Engine (ANE) 进行编程，而无需依赖 CoreML。这种绕过方式可以更有效地利用 ANE，ANE 是 Apple 设备中专用的神经网络加速器。ANEForge 将张量图编译成 ANE 程序，支持诸如融合注意力、各种权重格式，甚至直接在引擎上进行训练步骤等操作。这使得模型执行速度显著加快，例如 ResNet-18 前向传播仅需 0.3…
-
Apple的设备端AI策略优先考虑隐私和性能
Apple正在推行一种独特的设备端AI策略，专注于隐私、性能和持久性，这与普遍的云中心AI模型形成了对比。该方法利用Apple的定制芯片（如Neural Engine）和统一内存来实现本地AI处理。该公司旨在解锁新的本地优先应用类别，用户数据将保留在设备上，提供更低的延迟和离线功能，可能减少许多任务对云AI API的依赖。