Apple Neural Engine
PulseAugur coverage of Apple Neural Engine — every cluster mentioning Apple Neural Engine across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
SigLIP 2 等设备端 AI 模型展示本地处理能力
SigLIP 2 等设备端 AI 模型在 Apple Neural Engine 上运行，证明了完全本地化个人 AI 的可行性。目前的发展旨在将此能力扩展到微控制器等资源受限的设备，强调隐私、离线功能以及独立于云服务。
-
本地AI通过企业解决方案和内置硬件模型获得关注
本地AI功能正通过几项关键进展而不断发展，包括面向企业的生产就绪型开源智能体AI，以及将本地LLM集成到日常硬件和软件中。Red Hat详细介绍了一种在本地使用开源模型进行操作任务的方法，重点关注安全性和成本效益。同时，Apple Silicon Mac被发现通过第三方工具可访问内置的基础模型，从而实现离线、私密的AI功能，用于文本处理和智能家居控制等任务。此外，Sigma浏览器现在包含自己的本地LLM，直接在浏览器中提供私密的AI聊天功能。
-
Apple的SpeechAnalyzer API提升设备端转录速度
Apple推出了其SpeechAnalyzer API，专为设备端英语语音转录而设计。该新API利用Apple Neural Engine在速度和准确性方面取得了显著改进，据报道比Whisper Small快三倍，词错误率（WER）为2.12%。尽管取得了这些进展，该API目前的局限性包括仅支持英语以及缺乏说话人分离功能。
-
Apple's failed car project seeded powerful AI chip legacy
Apple's defunct self-driving car initiative inadvertently spurred the development of its powerful AI chips. The project's need for on-device AI processing led to the creation of the Neural Engine, which is now a core co…
-
Espresso 支持在 Apple Neural Engine 上进行设备端 transformer 训练
一个名为 Espresso 的新开源项目允许开发者直接在 Apple 的 Neural Engine 上训练和运行 transformer 模型。这使得在 Apple 硬件上运行的应用程序能够实现设备端 AI 处理。该项目可在 GitHub 上获取，旨在利用专用硬件高效执行 AI 模型。
-
新论文详解Apple Neural Engine的架构与性能
一篇新论文详细介绍了Apple Neural Engine的架构、编程和性能。该文件深入探讨了这款芯片的硬件和软件方面，该芯片旨在加速Apple设备上的机器学习任务。它探讨了开发人员如何利用Neural Engine来增强AI功能。
-
Apple MLX 支持在 Mac 设备上本地微调 AI 模型
Apple 发布了 MLX，这是一个针对其 silicon 优化的机器学习框架，使用户能够在 Mac 设备上本地微调语言模型。该框架无需云 GPU 和相关费用，使得本地 AI 模型训练更加便捷。MLX 旨在利用 Apple 的 Neural Engine 提升性能。
-
ANEForge 支持 Apple Neural Engine 的直接 Python 编程
一个名为 ANEForge 的新 Python 包允许开发者直接对 Apple Neural Engine (ANE) 进行编程，而无需依赖 CoreML。这种绕过方式可以更有效地利用 ANE，ANE 是 Apple 设备中专用的神经网络加速器。ANEForge 将张量图编译成 ANE 程序，支持诸如融合注意力、各种权重格式，甚至直接在引擎上进行训练步骤等操作。这使得模型执行速度显著加快，例如 ResNet-18 前向传播仅需 0.3…
-
Apple的设备端AI策略优先考虑隐私和性能
Apple正在推行一种独特的设备端AI策略，专注于隐私、性能和持久性，这与普遍的云中心AI模型形成了对比。该方法利用Apple的定制芯片（如Neural Engine）和统一内存来实现本地AI处理。该公司旨在解锁新的本地优先应用类别，用户数据将保留在设备上，提供更低的延迟和离线功能，可能减少许多任务对云AI API的依赖。
-
Apple M4 Max GPU 的张量计算路径被模拟，而非加速
研究人员逆向工程了 Apple M4 Max GPU 上的 Metal 4.1 张量计算路径，发现 fp8 matmul2d 操作是模拟的，而非硬件加速。这意味着该操作在 GPU 的着色器核心上运行，至少以 fp32 精度累积，并且不使用专用的矩阵数据路径或 Apple Neural Engine。这些发现详细记录在一篇题为“Rigel”的论文中，通过实证表征和微基准测试实现，并开发了一个融合内核，其性能比分解路径高出 12.9%。
-
移动NPU实现能效型端侧RAG
研究人员开发了一个能效型的检索增强生成（RAG）流水线，该流水线完全在移动神经网络处理单元（NPU）上运行，特别是高通公司在Snapdragon X Elite中发现的Hexagon NPU。该系统在索引和查询处理的速度、能耗和延迟方面，显著优于CPU和GPU基线。评估表明，NPU加速的RAG在答案质量方面与CPU和GPU方法相当，为私密、低延迟和可持续的端侧AI应用提供了可行的途径。
-
研究人员逆向工程Apple Neural Engine以进行自定义AI训练
一位安全研究人员逆向工程了Apple Neural Engine，这是一个专为AI任务设计的专用芯片。该过程允许研究人员直接在该引擎上训练神经网络，而Apple并未正式允许此操作。Neural Engine通常仅限于推理操作，这表明这项工作可能已将其功能推向了预期用途之外。
-
iPhone 大模型基准测试：Neural Engine 在持续性能上胜过 GPU
iPhone 17 Pro 上的端侧大模型性能测试表明，虽然 GPU 在初始生成速度上占优，但它们会迅速过热并降频。苹果的 Neural Engine 虽然启动较慢，但由于功耗显著降低，在长时间内能保持更一致的解码速率。这表明，对于需要持续大模型运行的应用，Neural Engine 是更高效且最终更快的选择，而 GPU 更适合快速、爆发式的交互。
-
MLX、LiteRT-LM 和 CoreML 在 iPhone 大模型性能方面进行基准测试
最近的一项基准测试在 iPhone 17 Pro 上测试了四种端侧大模型运行时，比较了解码速度和内存使用情况。对于 Qwen 3.5 2B 等通用模型，MLX 速度最快；而 LiteRT-LM 在 Gemma 4 E2B 模型上表现尤为出色。在内存受限的情况下，使用 Apple Neural Engine 的 CoreML 具有显著优势，消耗的 RAM 大大减少。
-
SDXL 模型通过管理 iOS 内存压力针对 iPhone 进行优化
一位开发者详细介绍了在 iPhone 上运行 SDXL 图像生成模型所面临的挑战，主要是由于 iOS 的内存压力。关键问题是防止操作系统在中途终止进程，通过序列化模型组件的初始化来避免内存峰值解决了这个问题。这种方法确保模型保持在 iOS 限制范围内，尽管较旧的设备仍然非常容易出错。
-
Mac mini在运行大型AI模型方面超越昂贵的工作站
一台售价1999美元、配备Apple Silicon的Mac mini可以运行一个700亿参数的AI模型，其性能超越了一台4000美元的Windows工作站。这归功于苹果的统一内存架构，它通过在CPU、GPU和神经网络引擎之间共享内存，消除了VRAM和PCIe的瓶颈。这种设计使得Mac mini成为本地部署AI代理的令人惊讶的强大选择。
-
苹果Mac硬件本地AI推理需求激增
Azeem Azhar 修正了他对苹果在AI领域作用的看法，认识到其硬件在本地AI推理方面的重要需求。尽管苹果在AI发展方面被认为比同行缓慢，但其Mac设备因适合运行OpenClaw等AI模型而出现短缺。苹果的芯片拥有统一内存和强大的神经网络引擎，非常适合AI任务，而苹果对其生态系统的控制进一步巩固了其地位。
-
Yannic Kilcher 批评基于嵌入的检索的理论极限
一个 YouTube 视频分析了基于嵌入的检索的理论局限性，创作者对此发表了强烈意见。另外，一篇 Mastodon 帖子讨论了生成、存储和搜索密集向量嵌入所必需的库、数据库和模型，强调了它们在语义搜索和 RAG 流水线中的作用。另一篇 Mastodon 帖子则专注于专为 Apple 的 MLX 数组框架和神经网络引擎设计的 AI 项目、框架和模型。