M3 Ultra
PulseAugur coverage of M3 Ultra — every cluster mentioning M3 Ultra across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
PyTorch 2.15 通过 FP8 和更快的 LLM 解码提升 Mac 性能
PyTorch 2.15 为 Apple Silicon Mac 带来了显著的性能提升,包括支持 FP8 以减少内存使用和加快计算速度。此次更新还为专家混合 (MoE) 模型带来了显著的加速,部分解码任务速度提升高达 6.5 倍。此外,线性层和 softmax 操作的优化使所有大型语言模型受益,而特定的内核则提高了音频、视频和通用训练工作负载的性能。
-
私有AI仪表板Hishob使用本地LLM进行家庭财务分析
一个名为Hishob的个人财务仪表板是作为更大的“gharasathi”私有家庭AI项目的一部分开发的。该仪表板运行在配备M3 Ultra芯片和96GB内存的Mac Studio上,通过llama.cpp使用Qwen3.5 122B A10B模型进行本地AI处理。Hishob通过澳大利亚的消费者数据权(Consumer Data Right)整合银行账户数据,并解析账单和报表等文件,将其存储在Neo4j知识图中,以提供全面的家庭财务视…
-
llama.cpp 项目发布预发布更新,包含性能优化
llama.cpp 项目发布了多个预发布更新,包括对 MoE expert 的 GPU 缓存管理改进、针对 Apple Silicon 的各种量化类型的优化,以及对 Metal fusion 操作的修复。这些更新还解决了 temperature-zero chains 的采样逻辑,并引入了新的词汇 token。这些发布涵盖了 macOS、iOS、Linux、Android 和 Windows 等广泛平台,并针对 Apple Silic…
-
Apple Mac Studio 搭载新芯片,价格上涨
自 2022 年首次亮相以来,Apple 的 Mac Studio 在保持其独特的铝制机身的同时,经历了显著的内部升级。最新的 M5 Ultra 型号拥有 512GB 内存和 1.2TB/s 的数据传输速度,与最初的 M1 Ultra 相比有了巨大飞跃。近期的型号价格有所上涨,特别是 M4 Max 和 M3 Ultra 版本,这归因于内存成本的上升以及对本地 AI 模型处理的需求。
-
NVIDIA推出更便宜的64GB DGX Spark,同时128GB型号价格上涨
NVIDIA推出新款DGX Spark系统64GB版本,定价4,999美元,以应对市场对原128GB型号成本的担忧。128GB DGX Spark的价格已大幅上涨,据报道目前约为6,950美元,远高于其最初发布时的价格。此次调价正值AI模型进步导致内存成本上升之际,使得GB10 Grace Blackwell Superchip等硬件更有价值,但对消费者而言也更昂贵。
-
在 Mac 上使用 LoRA 和 MLX 微调 Qwen LLM
本指南详细介绍了如何使用 LoRA 在配备 Apple Silicon 的 Mac 上微调 Qwen 模型,特别是 Qwen3.8-27B 和 Qwen3.5-9B。它提供了从环境设置到将训练好的适配器与基础模型合并的整个过程的七个脚本。教程强调了实际方面,如管理内存使用、优化训练轮次而非步数,以及适配器合并技术的重要性,以避免数据丢失。
-
Apple M5 Ultra 处理器泄露,挑战英伟达 AI 主导地位
苹果新款 M5 Ultra 处理器在泄露的 Geekbench 7 基准测试中显示,与前几代相比性能大幅提升,几乎是 M2 Ultra 系统输出的两倍。这种增强的处理能力使 Mac Studio 不仅仅是视频编辑工具,而是成为运行大型 AI 模型本地化的强大工作站。M5 Ultra 的能力,特别是其处理 Llama-3.1-405B 等拥有数千亿参数的模型的能力,与高端 NVIDIA GPU 相比,提供了比基于云的 AI 开发更私密且…
-
DeepSeek V4.1 Flash 模型在 M3 Ultra 上实现大幅加速
一位开发者已为 Apple 的 M3 Ultra 芯片优化了 DeepSeek V4.1 Flash 模型,显著提升了其性能。这些优化细节在 GitHub 仓库中公布,提高了解码速度,降低了延迟,并增强了投机解码能力。这些改进使得模型能够处理更大的上下文并更有效地执行代理轮次,正如一次处理超过 100,000 个 token 的 91 分钟代理交互所示。
-
llama.cpp 中 MiniMax M3 LLM 性能调整
一位用户正在 Mac 上使用 llama.cpp 框架对 MiniMax M3 大型语言模型进行实验。他们在使用该模型时偶尔会遇到轻微的幻觉和异常,并怀疑这可能与其 MiniMax Sparse Attention (MSA) 实现有关。通过禁用 Flash Attention(这会禁用 MSA),用户观察到生成速度显著下降。进一步的测试涉及将 MSA 与 Flash Attention 分离,这表明尽管可能存在性能权衡,但模型在没有…
-
LLaMA subreddit 用户为 M5 Ultra 512GB 寻求模型建议
一位 r/LocalLLaMA subreddit 的用户正在为其即将到来的 M5 Ultra 512GB 设备寻求关于下载哪些大型语言模型的建议。他们特别询问了 GLM-5.3、Qwen3.8、DeepSeek-V4 和 Kimi-K3 等模型的最佳“量化”(quantized versions)版本,同时考虑了设备的内存限制。用户还询问了 GLM-5.3 和 Kimi-K3 可达到的最大上下文长度,以及 8 位模型是否适用于某些版本。
-
Apple 发布搭载 M5 Ultra 芯片的 Mac Studio 和搭载 M6 芯片的 Mac Mini
Apple 推出了新款 Mac Studio 和 Mac Mini,分别搭载了 M5 Ultra 和 M6 芯片。M6 芯片是 Apple 首款 2nm 桌面处理器,为广大用户提供了改进的 CPU 和 GPU 性能。M5 Ultra 是一款高容量芯片,专为密集型本地 AI 任务和专业计算而设计,采用四芯片设计,内存带宽显著提高。
-
Apple M5 Ultra芯片将AI提示处理速度提高高达4倍
Apple新款M5 Ultra芯片旨在减少AI模型响应开始前的延迟,而不是增加响应生成的速度。通过在每个GPU核心上集成矩阵加速器,M5 Ultra的处理提示速度比前代M3 Ultra快四倍。这项进步专门针对本地AI应用的计算密集型预填充任务。
-
Apple 发布 M5 Ultra 芯片,采用四芯片架构并提升 AI 性能
Apple 发布了专为 Mac Studio 设计的新款 M5 Ultra 芯片,与上一代 M3 Ultra 相比,性能有了显著提升。M5 Ultra 采用新颖的四芯片架构,增加了核心数量,并加快了芯片间通信速度,多线程性能提升高达 30%,统一内存带宽提升 50%。该芯片还拥有增强的 GPU 功能,配备了新的用于 AI 任务的神经网络加速器,重新设计的用于内容创作的媒体引擎,并支持 Thunderbolt 5 和 PCIe Gen 6。
-
Apple发布M6和M5 Ultra芯片,以增强AI性能
Apple发布了其新款M6和M5 Ultra芯片,旨在显著提升Mac设备的性能和AI能力。M6芯片采用2nm工艺制造,配备增强型CPU、GPU和双16核神经网络引擎,可实现更快的设备端AI处理。M5 Ultra采用四芯片设计架构,在CPU、GPU和内存带宽方面进行了大幅升级,成为Apple迄今为止最强大的芯片,可满足要求严苛的专业和AI工作负载。
-
Apple 发布 M5 Ultra 芯片,采用四芯片设计,专为 AI 任务而打造
Apple 发布了其新款 M5 Ultra 处理器,该处理器采用四芯片配置,结合了四个 M5 处理器,以增强 AI 和内容创作能力。这款新芯片拥有多达 36 个核心,在单线程和多线程性能上比 M3 Ultra 有显著提升,并支持高达 512GB 的统一内存。此外,Apple 还推出了基于 2 纳米工艺的 M6 芯片,为低端 Mac 设备提供更优的性能和能效。
-
Apple 发布搭载 M6 和 M5 Ultra 芯片的新款 Mac mini 和 Mac Studio
Apple 发布了其 Mac mini 和 Mac Studio 台式电脑的新版本,配备了升级的内部硬件。Mac mini 现在配备了新的 M6 芯片,而 Mac Studio 则配备了 M5 Max 和强大的新 M5 Ultra 芯片。这些更新带来了显著的性能提升,尤其是在 AI 处理能力方面,Apple 强调 M6 是其首款 2 纳米芯片,而 M5 Ultra 则因其四芯片架构成为其迄今为止最强大的芯片。
-
DeepSeek-V4 Flash 模型针对 Mac 设备进行了优化
Reddit 的 r/LocalLLaMA 社区的一位用户分享了 DeepSeek-V4 模型的高度优化量化版本,该版本专为拥有大量显存(192GB+)的 Mac 设备设计。该版本在 Hugging Face 上可用,据报道其性能优于其他方法,并且在使用过程中生成速度会加快。用户强调其 dspark/mtp 支持是其在 M3 Ultra Mac 上高效运行的关键因素。
-
Apple reportedly skips M6 Pro/Max chips, fast-tracks AI-focused M7 for 2027
据报道,Apple 计划对其 Mac 芯片策略进行重大调整,打算跳过即将推出的 M6 代的 Pro 和 Max 版本。取而代之的是,该公司预计将加速 M7 芯片系列的开发,该系列将重点关注设备端 AI 处理。此举旨在提高内存带宽,这是 AI 推理的关键因素,预计 M7 基础版将于 2027 年上半年推出,Pro、Max 以及可能的 Ultra 版本将于同年晚些时候或 2028 年推出。基础版 M6 芯片可能仍会为入门级 Mac 发布。
-
MiniMax AI 庆祝社区对 M3 开源权重的贡献
MiniMax AI 正在庆祝开源社区对其 M3 开源权重所做的贡献。mlx-vlm 项目已集成对 MiniMax M3 的支持,包括对现代标准阿拉伯语的实现。此集成在 M3 Ultra 512GB 系统上进行了测试,实现了每秒 24 个 token 的处理速度,峰值内存使用量约为 240GB。
-
oMLX 通过 KV 缓存提升 Apple Silicon LLM 性能
oMLX 是一个面向 Apple Silicon 的开源 LLM 推理服务器,在处理大型模型和复杂工作流方面展现出显著的性能提升。社区基准测试和本地测试突显了 oMLX 相较于 Ollama 和 LM Studio 等替代方案的优势,尤其是在涉及编码代理和持久化 KV 缓存的场景中。该服务器利用 SSD 进行 KV 缓存的能力极大地缩短了首次令牌生成时间 (TTFT),使得 Claude Code 和 Qwen3-Coder-Next…