Metal
PulseAugur coverage of Metal — every cluster mentioning Metal across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
Apple Silicon's Metal API gaining traction for local LLM inference
Multiple recent articles highlight the increasing use of Apple Silicon's Metal API for local LLM inference. Salvatore Sanfilippo's ds4.c engine and the LM Studio guide both point to Metal as a key enabler for running large models on Macs. This suggests a growing ecosystem and optimization efforts around Metal for AI workloads on Apple hardware.
Apple to announce enhanced Metal support for AI/ML in upcoming WWDC
Given the recent focus on Metal for local LLM inference on Apple Silicon, it's plausible Apple will announce significant enhancements or new features for AI/ML development using Metal at the upcoming WWDC. This could include improved performance, new APIs, or better integration with popular ML frameworks.
Cross-platform GPU virtualization for AI is an emerging trend
The project connecting an NVIDIA GPU to a MacBook Air via a Linux VM demonstrates a novel approach to leveraging hardware across different operating systems for AI tasks. This workaround, while currently slower than native solutions, indicates a potential future direction for utilizing specialized hardware in environments with limited native driver support.
-
新的开源工具可在 logits 层面拦截 LLM 越狱
一款名为 resk-logits 的新开源工具已发布，通过在 token 被采样之前，在 logits 层面拦截有害内容，从而增强 LLM 的安全性。该 GPU 加速处理器使用 Aho-Corasick 算法扫描整个词汇表以查找恶意模式，将匹配 token 的 logits 设置为负无穷以实现硬拦截，或在“影子禁令”模式下应用惩罚。它使用 CUDA 和 Metal 后端开发，开销低于毫秒，并兼容任何 Hugging Face Auto…
-
MLX 与 GGUF：为 Apple Silicon 选择正确的本地 LLM 格式
对于在 Apple Silicon Mac 上运行本地大型语言模型的用户来说，MLX 和 GGUF 格式之间的选择取决于性能与便携性的权衡。MLX 是 Apple 的原生框架，通过利用统一内存架构，可提供 15-40% 的速度提升并减少内存使用，但仅限于 Apple Silicon。GGUF 是一种更通用的格式，兼容 Linux 和 Windows 等各种平台，并可在 CPU 和 GPU 上运行，使其成为跨平台或长期项目的更安全选择。
-
《目标！成为宝可梦大师》动漫主题曲的AI金属翻唱版发布
一位名叫zip-sama的音乐人创作了标志性宝可梦主题曲《目标！成为宝可梦大师》的AI翻唱版。这个版本以金属编曲重新演绎了经典的J-pop曲目，展示了AI在音乐制作中的创意潜力。翻唱保留了原唱松本梨香的演唱。
-
235B Qwen3模型通过定制C++引擎在48GB MacBook上运行
一位开发者成功地在配备48GB内存的消费级MacBook上运行了拥有2350亿参数的Qwen3-235B-A22B-Instruct-2507模型。这是通过使用定制的C++引擎和Metal内核，并从固态硬盘流式传输模型的专家来实现的。这个过程缓慢且不完美，但它证明了大型前沿模型可以在消费级硬件上运行，挑战了它们需要庞大GPU集群的假设。一个关键的调试挑战涉及聊天模板不匹配，通过加载正确的tokenizer解决了这个问题。
-
新的运行时和基准测试提升 Apple Silicon 上的 LLM 推理性能
研究人员开发了在 Apple Silicon 上优化大型语言模型 (LLM) 推理的新方法。第一种方法 BaseRT 是一个原生 Metal 运行时，通过针对 Metal 的执行模型和 Apple Silicon 的统一内存进行优化，实现了比现有框架更高的推理吞吐量。它支持各种模型系列和量化，在 M3 和 M4 Pro 设备上展示了显著的性能提升。第二项贡献 Metal-Sci 是一个用于评估 Apple Silicon 上 LLM …
-
新应用支持本地、离线文档聊天
Off Grid AI Desktop 是一款新的、免费的开源应用程序，旨在让用户在个人电脑上本地与文档进行聊天。该工具处理整个过程，包括嵌入、向量存储和语言模型推理，而无需将任何数据发送到云端。它支持 PDF、DOCX 和图像等各种文件类型，并内置了 OCR 和转录功能，可处理扫描文档以及音频/视频文件。
-
使用Off Grid AI Desktop在本地和离线运行阿里巴巴的Qwen大语言模型
Off Grid AI Desktop是一款新的、免费的、开源的应用程序，允许用户在个人电脑上本地运行阿里巴巴集团的Qwen大语言模型。这使得离线、私密的AI交互成为可能，该应用程序支持各种Qwen模型尺寸，并利用Metal（macOS）和CUDA/Vulkan（Windows）等技术进行硬件加速。该应用程序还具备渲染代码、与个人文档聊天以及使用本地工具的功能，所有这些操作都不会将数据发送到远程服务器。
-
使用新的开源应用程序在本地运行 Google 的 Gemma LLM
一款名为 Off Grid AI Desktop 的新开源应用程序允许用户在 Mac 或 Windows 电脑上本地运行 Google 的 Gemma 语言模型。这种方法通过将所有提示和数据保留在用户机器上，优先考虑用户隐私，无需依赖基于云的服务和相关数据记录。该应用程序支持各种 Gemma 模型尺寸，并包括内置的 Hugging Face 浏览器以下载其他模型、具有视觉模型图像分析功能、文档查询以及通过与 whisper.cpp 和…
-
使用 Off Grid AI Desktop 在 Windows 和 Mac 上本地运行 LLM
Off Grid AI Desktop 是一款新的、免费的、开源的应用程序，允许用户在 Windows PC 或 Mac 上本地运行大型语言模型。该软件支持离线使用，无需订阅或云服务。它利用硬件加速，在 Windows 上使用支持 CUDA 的 GPU 或在 Mac 上使用 Metal 进行更快处理，如果没有专用 GPU，则可以回退到 CPU。用户可以直接在应用程序内下载和管理模型，性能取决于可用的 VRAM 或系统 RAM 量。
-
llama-bench 针对闪存注意力和 GPU 层数进行了默认值更正
最近为 llama-bench 工具发布的 b9437 版本更正了与闪存注意力和 GPU 层数相关的默认设置。此前，该工具即使在兼容硬件上也将闪存注意力硬编码为关闭，并为 GPU 层数使用了旧的哨兵值。此次更新现在将闪存注意力默认设置为在 सक्षम 硬件（CUDA、Metal、Vulkan）上自动激活，并将 GPU 层数设置为 -1，与其他 llama.cpp 工具（如 llama-server 和 llama-cli）保持一致。此…
-
AMD 嘲笑 Apple MacBook Neo 的游戏性能不足
AMD 发起了一项营销活动，强调 Apple MacBook Neo 的游戏限制。该活动指出，在排名前 20 的 PC 游戏中，只有 5 款原生支持 MacBook Neo，而配备 AMD 芯片的笔记本电脑可以运行所有这些游戏。AMD 使用了一款配备 Ryzen 5 220 处理器的 HP OmniBook X Flip 进行比较，并指出其在存储、触摸屏和端口选择方面优于 MacBook Neo。虽然 MacBook Neo 被誉为一…
-
iOS 应用 GenBench 可在设备上对 GGUF 模型进行基准测试
一款名为 GenBench 的新的免费 iOS 应用程序已发布，允许用户直接在 iPhone 和 iPad 上下载、运行和基准测试 GGUF 模型。该应用程序利用 llama.cpp 和 Metal 进行离线运行，并测量每秒令牌数、首个令牌延迟和峰值内存使用量等性能指标。用户还可以提交分数到全球排行榜，以比较不同设备和模型（包括文本和视觉模型）的性能。
-
WAVE 项目创建统一 GPU ISA 以实现跨供应商兼容性
一种名为 WAVE 的新型便携式 GPU 指令集架构 (ISA) 已被开发出来，旨在统一不同硬件供应商之间的编程。WAVE 抽象了在 NVIDIA、AMD 和 Intel GPU 中发现的常见功能，允许开发人员编写一次内核，然后将其编译到 Metal、PTX、HIP 或 SYCL 等各种后端。事实证明，这种方法可以在 Apple、NVIDIA 和 AMD 的硬件上产生相同的训练结果。
-
Llama.cpp为Mac添加MTP功能，改进离线构建
llama.cpp项目为Mac硬件引入了新的Metal Performance Tensors (MTP)功能，显示出在token生成速度方面有潜在的提升。在M2 Ultra上的初步测试表明，虽然prompt处理速度保持一致，但在启用MTP的情况下，token生成速度可能会变得更加多变，尤其是在更长的上下文长度下。此外，该项目还解决了在隔离网络Mac上构建llama.cpp的问题，需要在构建过程中使用特定标志来禁用UI下载。
-
MacBook Air 通过 Linux 虚拟机获得桌面级 GPU 以进行 AI 任务
最近的一个项目探索了通过 Thunderbolt eGPU 设置将高端 NVIDIA RTX 5090 GPU 连接到 M4 MacBook Air。虽然 macOS 缺乏 Apple Silicon 上 NVIDIA GPU 的原生驱动程序，但作者成功地将 GPU 直通给 Mac 上运行的 Linux 虚拟机。这种方法利用了 Linux 对 NVIDIA 显卡和 Thunderbolt 隧道技术的支持，使 GPU 能够用于 AI 推…
-
中国公司在金属和新材料领域实现增长
两家中国证券公司中信证券和中信证券发布了研究报告，强调了金属和新材料行业的巨大增长潜力。两份报告均指出，受技术进步和供需动态的驱动，战略金属和先进材料表现强劲。中信证券特别提到，钨、锂和稀土磁性材料等行业正引领潮流，而中信证券则强调了铼、铀、锡和镍等新生产力要素的作用，以及与AI相关组件相关的机会。
-
Apple的MLX框架加速Mac上的本地LLM
Apple的MLX框架正在显著提升Apple Silicon Mac上的本地LLM性能，其表现优于llama.cpp等工具。LM Studio，一个流行的LLM前端，现在在Apple Silicon上利用MLX，与之前的默认设置如llama.cpp相比，速度有了大幅提升。这种优化使得统一内存得到高效利用，从而可以在内存充足的Mac上流畅运行更大的模型。
-
开发者优化 Swift 以进行 LLM 训练，目标是 Tflop/s
一位开发者正在探索如何使用 Swift 在 Apple Silicon 上训练大型语言模型 (LLM)，重点是优化矩阵乘法性能。这篇初步的文章详细介绍了一个
-
Redis 创始人为 Mac 构建 DeepSeek V4 专用推理引擎
Redis 的创始人 Salvatore Sanfilippo 开发了一个名为 ds4.c 的新的、高度优化的推理引擎，专门用于 DeepSeek V4 Flash 模型。该引擎旨在 Apple Silicon Mac 上高效运行，利用 Metal 进行 GPU 加速。它采用了非对称量化和将 KV 缓存卸载到磁盘等技术，以实现大型模型的本地执行，甚至支持 OpenAI 和 Anthropic API 兼容性，以便集成到代理中。
-
Born ML 框架通过 v0.8.0 更新实现純 Go GPU 加速
Born ML 发布了 0.8.0 版本，将其 GPU 后端从 Rust 的 wgpu-native 迁移到一个純 Go 实现 gogpu/wgpu。这一改变消除了对 .dll 或 .so 文件等外部运行时依赖的需求，允许 GPU 加速的机器学习应用程序进行单一二进制文件部署。此次更新还包括在迁移过程中发现的五个关键 GPU 错误的修复，并在实际模型训练中进行了验证。