Metal
PulseAugur coverage of Metal — every cluster mentioning Metal across labs, papers, and developer communities, ranked by signal.
- used by Apple Silicon 90%
- used by macOS 90%
- used by Off Grid AI Desktop 90%
- developed by Salvatore Sanfilippo 90%
- used by Llama-2-7B-Chat-GGUF 90%
- used by Llama-2-70B-Chat-GGUF 90%
- used by Llama-2-13B-Chat-GGUF 90%
- developed by Apple Silicon 70%
- used by Vulkan 70%
- competes with Mlx 70%
- used by Mlx 70%
- used by Linux 70%
9 天有情绪数据
Apple Silicon's Metal API gaining traction for local LLM inference
Multiple recent articles highlight the increasing use of Apple Silicon's Metal API for local LLM inference. Salvatore Sanfilippo's ds4.c engine and the LM Studio guide both point to Metal as a key enabler for running large models on Macs. This suggests a growing ecosystem and optimization efforts around Metal for AI workloads on Apple hardware.
Apple to announce enhanced Metal support for AI/ML in upcoming WWDC
Given the recent focus on Metal for local LLM inference on Apple Silicon, it's plausible Apple will announce significant enhancements or new features for AI/ML development using Metal at the upcoming WWDC. This could include improved performance, new APIs, or better integration with popular ML frameworks.
Cross-platform GPU virtualization for AI is an emerging trend
The project connecting an NVIDIA GPU to a MacBook Air via a Linux VM demonstrates a novel approach to leveraging hardware across different operating systems for AI tasks. This workaround, while currently slower than native solutions, indicates a potential future direction for utilizing specialized hardware in environments with limited native driver support.
-
llama.cpp 0.6.0 发布，支持 GLM-5.3-Flash 并提升 Metal 加速性能
开源项目 llama.cpp 发布了 0.6.0 版本，引入了对 GLM-5.3-Flash 的支持，并通过 Metal 加速实现了性能增强。此次更新旨在提高在各种硬件上运行大型语言模型的效率和能力。
-
llama.cpp 项目发布预发布更新，包含性能优化
llama.cpp 项目发布了多个预发布更新，包括对 MoE expert 的 GPU 缓存管理改进、针对 Apple Silicon 的各种量化类型的优化，以及对 Metal fusion 操作的修复。这些更新还解决了 temperature-zero chains 的采样逻辑，并引入了新的词汇 token。这些发布涵盖了 macOS、iOS、Linux、Android 和 Windows 等广泛平台，并针对 Apple Silic…
-
Redis 创始人发布专注的本地 LLM 引擎 DwarfStar 4
Redis 的创始人 Salvatore Sanfilippo 发布了 DwarfStar 4 (ds4)，一个新的本地 LLM 推理引擎。与许多旨在广泛兼容模型的引擎不同，ds4 专注于少数模型，包括 DeepSeek V4、GLM 5.x 和 Qwen 3.8 Flash Next。这种专注的方法允许进行不对称量化和驻留磁盘的模型权重等优化，从而能够在高内存机器（尤其是配备 Apple Silicon 的 Mac）上高效运行。该引…
-
llama.cpp 发布包括服务器修复、OpenVINO 优化和平台支持扩展
llama.cpp 项目发布了多个更新，包括 b11379、b11378、b11377、b11376、b11375、b11374、b11372、b11371 和 b11370 版本。这些版本在不同平台和功能上引入了各种改进和修复。值得注意的变化包括服务器端中止修复、JSON schema 聊天解析增强、OpenVINO 优化以及 CUDA 和 Metal 后端更新。该项目还继续扩展对 Snapdragon 和 openEuler 等不…
-
Mastodon帖子展示“金属女孩”艺术和金属音乐标签
此集群包含来自社交媒体平台Mastodon的一条帖子。该帖子是一系列与“金属女孩”和各种金属音乐子流派相关的标签，以及艺术、插画和设计的标签。它似乎是用户生成的内容，分享艺术作品或表达对这些主题的兴趣。
-
NobodyWho 和 Cactus：设备端 LLM 引擎比较
一项技术比较重点介绍了两个设备端 LLM 推理引擎 NobodyWho 和 Cactus，详细说明了它们在引擎设计、模型格式、硬件加速和许可方面的差异。NobodyWho 利用 llama.cpp 并直接支持现有的 GGUF 模型格式，提供广泛的兼容性。Cactus 采用专有的量化格式 (CQ) 和自己的引擎，针对具有特定 ARM NEON SIMD 和 Metal 支持的移动处理器进行了优化，但计划支持 NPU。虽然 NobodyW…
-
llama.cpp 错误导致 M-RoPE 嵌入批次结果不确定
llama.cpp 库中的一个错误会导致在处理 Qwen3.5 和 Qwen2.5-VL 等 M-RoPE 模型的嵌入批次时产生不正确的结果。该问题源于堆缓冲区溢出，库读取了超出位置数组分配内存的区域。这可能导致不确定的 logits，在某些情况下还会导致错误的 token 预测，尽管它通常很微妙且难以检测。该问题在使用这些模型的嵌入模式时发生，而标准的 token 处理不受影响。
-
新的 macOS 应用 Radiant Canvas 提供更快的本地 AI 图像生成
一款名为 Radiant Canvas 的新的原生 macOS 应用程序已被开发出来，用于在 Apple Silicon 上使用 Krea 2、FLUX.2 和 Qwen 等模型进行本地图像推理。该应用程序使用 C++20、Objective-C++ 和 Swift 构建，直接利用 MLX 和 Metal 来避免 Python 依赖并提供简化的用户体验。基准测试显示，在 M5 Max 芯片上，Radiant Canvas 在 Krea…
-
研究揭示公共库中存在沉默缺陷的大语言模型制品
一项新研究论文强调了公共库中可用的大语言模型（LLM）制品完整性方面存在严重问题。研究发现，Ollama 和 Hugging Face 上部分社区库的官方制品中有 1.6% 存在沉默缺陷，这意味着它们在表面上统计正常的情况下无法执行任何任务。这些缺陷是通过严格的测试过程识别出来的，该过程包括多个推理后端以及与独立转换的比较，揭示出一些模型在 CUDA 等特定硬件上会显著降级，但在 Metal 等其他硬件上却能正常运行。研究人员已发布了…
-
llama.cpp b10835 修复了 NVIDIA GPU 上的 CUDA FlashAttention 发散问题
llama.cpp 项目发布了 b10835 版本，该版本解决了其在 CUDA 后端上 f16 FlashAttention 实现中的一个关键错误。此更新解决了在使用 NVIDIA GPU 上的半精度浮点注意力机制时可能导致不稳定或错误的“发散”问题。此外，该版本通过移除冗余的元数据指针赋值来优化 NVIDIA 硬件上的执行路径，从而简化了调度过程。此修复程序对于在 NVIDIA GPU 上使用 CUDA 进行本地推理的开发者和用户尤…
-
Hermes Desktop 通过一键安装简化本地 AI 模型设置
Nous Research 推出了 Hermes Desktop，这是一款免费的开源应用程序，可简化在本地设置和运行开放权重 AI 模型的过程。该软件可自动检测用户的硬件，选择兼容的模型，下载必要的权重，并配置推理运行时，从而消除了复杂的手动步骤。Hermes Desktop 支持各种操作系统和硬件加速后端，通过保证的上下文窗口大小和智能内存管理确保流畅的用户体验。
-
llama.cpp 发布更新，修复性能和稳定性问题 · 跟踪 9 个来源
llama.cpp 项目发布了多个更新，包括 0.4.1 版本，该版本解决了跨不同平台的各种性能和稳定性问题。值得注意的更改包括对 SYCL 后端的优化、CPU 堆损坏的修复以及对缺乏 BF16 硬件加速的 CUDA 设备的后备机制。这些更新旨在提高在各种硬件上运行语言模型的效率和可靠性。
-
Apple 将于下周发布折叠屏 iPhone Ultra；Mario Kart 64 可在 iPhone 上运行
据报道，Apple 计划在下周的九月活动中发布其折叠屏 iPhone Ultra。虽然此次发布备受期待，但新款机型的具体发货日期仍不确定。另外，一种在 iPhone 上运行经典游戏 Mario Kart 64 的方法已经出现，该方法支持原生 Metal 渲染、高帧率和高清纹理，可能通过 Delta 等模拟器实现。
-
Perplexity 开源适用于 Apple Silicon 的 Lily 推理引擎
Perplexity 已开源 Lily，一个使用 Rust 和 Metal 构建的专用推理引擎，用于在 Apple Silicon 上运行 Qwen3.6-35B-A3B 模型。该引擎专为狭窄的硬件优化而设计，与 MLX-LM 等通用框架相比，解码速度提高了 1.35 倍，预填充速度提高了 1.23 倍。Lily 的架构绕过了 PyTorch 和 MLX 等传统框架，利用手工编写的 Metal 内核进行执行，并提供了一个与 OpenA…
-
新的METAL框架增强了联邦视频域自适应能力
研究人员推出了一种名为METAL的新型框架，旨在改进联邦视频域自适应（FVDA）。该方法解决了在保持隐私的同时，对分布式、非IID视频数据集中的时域信息进行对齐的挑战。METAL利用多分辨率的时域信息，采用Transformer编码器和知识投票机制在目标服务器上生成伪标签。在Epic-Kitchens-55和Daily-DA数据集上的实验显示，性能显著提升，相比现有方法最高提升了28.47%。
-
开发者修复渲染和 GPU 问题后，将 Three.js 游戏发布到 iOS App Store
一位开发者成功将一款 Three.js 游戏发布到 iOS App Store，通过 Capacitor 在 WKWebView 中运行，没有网络调用。该过程克服了几个无声的故障，包括无头 Chrome 中不正确的默认图形后端，这严重减慢了渲染速度，以及 iOS 倾向于在不触发上下文丢失事件的情况下终止 WebKit GPU 进程。为了解决这些问题，开发者实现了一个轮询函数和一个绘图调用阈值，以检测和恢复 GPU 进程故障，确保游戏在…
-
设备端AI凭借新的SDK和CCTV集成获得关注
NobodyWho库使开发人员能够将大型语言模型（LLMs）直接集成到应用程序中，实现设备端AI，提供离线功能、增强隐私和降低延迟等优势。该库封装了llama.cpp，为包括Flutter、Python、Swift和React Native在内的各种编程语言和框架提供了绑定。它支持从Hugging Face下载模型，并提供多模态输入、语音转文本和工具调用等高级功能。另外，Intellivix正在将设备端AI集成到CCTV硬件中，用于实…
-
Apple 更新 Mac 台式机以支持本地 AI 开发
Apple 更新了其 Mac mini 和 Mac Studio 台式电脑，强调其在本地 AI 开发和推理方面的能力。此次更新引入了包括 M6 和 M5 Ultra 在内的新芯片，旨在提高机器学习工作负载的性能。这些机器因其统一内存架构和连接设备以运行更大 AI 模型的能力，在开发者中越来越受欢迎，为专用硬件提供了替代方案。
-
WebGPU 解锁浏览器 GPU 算力，实现大规模并行计算
WebGPU 是一项新的 Web API，它允许开发者直接从浏览器利用图形处理单元（GPU）的大规模并行处理能力。与仅限于渲染且需要复杂变通方法才能进行通用计算的前身 WebGL 不同，WebGPU 能够直接在数千个线程上执行任意数学代码。这一转变预计将显著提高 Web 应用程序中 AI 推理、媒体处理和复杂模拟等任务的性能，弥合传统 CPU 密集型 Web 开发与现代 GPU 硬件能力之间的差距。
-
开发者构建本地LLM服务器，支持自动VRAM模型选择
一位开发者使用FastAPI和llama.cpp创建了一个本地LLM服务器，该服务器可根据可用的GPU VRAM自动选择合适的GGUF模型。该设置允许用户在本地运行各种模型，从7B到70B参数不等，并提供与OpenAI兼容的API。该系统使用NVML检测NVIDIA GPU的VRAM，或使用Metal检测Apple Silicon的VRAM，确保在不依赖云服务或达到速率限制的情况下高效部署模型。该项目还被打包成一个名为Strata的桌…