Apple GPUs
PulseAugur coverage of Apple GPUs — every cluster mentioning Apple GPUs across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新方法提升边缘设备大语言模型效率
研究人员开发了一种新方法,以提高量化张量程序的效率,这对于在边缘设备上运行大语言模型至关重要。该方法借鉴了Halide分离算法和调度的思想,引入了编解码器来管理不同的数据表示。与现有的GGML和KleidiAI等库相比,该系统生成的内核数量显著增加,而代码量却更少。在Apple M3 Max和x86处理器上的基准测试表明,即使处理各种权重和激活格式,这些新内核在性能上也能与专用内核相媲美甚至超越。
-
NobodyWho 和 Cactus:设备端 LLM 引擎比较
一项技术比较重点介绍了两个设备端 LLM 推理引擎 NobodyWho 和 Cactus,详细说明了它们在引擎设计、模型格式、硬件加速和许可方面的差异。NobodyWho 利用 llama.cpp 并直接支持现有的 GGUF 模型格式,提供广泛的兼容性。Cactus 采用专有的量化格式 (CQ) 和自己的引擎,针对具有特定 ARM NEON SIMD 和 Metal 支持的移动处理器进行了优化,但计划支持 NPU。虽然 NobodyW…
-
Ollama v0.32.6 提升 Qwen 3.5 在 Apple Silicon 上的速度,改进 OpenAI 兼容性 · 跟踪 4 个来源
Ollama 发布了 0.32.6 版本,通过 MLX 引擎和推测性解码显著提高了 Qwen 3.5 模型在 Apple Silicon Mac 上的性能。此次更新还通过对 /v1/chat/completions 端点的流式格式进行对齐,增强了与 OpenAI API 的兼容性。此外,KataGo 和 llama.cpp 等其他相关项目也收到了错误修复,KataGo 解决了 TensorRT 问题,llama.cpp 解决了 Vul…