Mlx
PulseAugur coverage of Mlx — every cluster mentioning Mlx across labs, papers, and developer communities, ranked by signal.
- developed by Muse Glimmer 95%
- developed by Muse Spark Open 90%
- used by Omlx Local Ai Models 90%
- developed by Omlx Local Ai Models 90%
- uses Unsloth Studio 90%
- used by Apple Neural Engine 90%
- competes with Omlx Local Ai Models 80%
- used by Muse Spark Open 70%
- used by M5 Ultra 70%
- used by Qwen3.8 70%
- competes with M5 Ultra 70%
- instance of Qwen3 8.27B 70%
24 天有情绪数据
-
Mac可以本地运行LLM,内存带宽是性能关键
在Mac上本地运行大型语言模型是可行的,即使是内存为8GB或16GB的设备,其性能主要取决于内存带宽而非芯片代数。LM Studio和Ollama等工具提供了用户友好的界面,而Apple的MLX框架在Apple Silicon上提供了最快的性能。对于8GB内存,建议使用约4B参数的模型;而16GB内存则可以运行Gemma 4 E4B或Qwen3.5 9B等更大的模型,速度可达每秒12-20个token。混合专家(Mixture-of-…
-
开发者测试 Claude Code 的代码模式概念,发现 token 节省显著
一位开发者测试了 Anthropic 新推出的 Claude Code 代码模式背后的概念,使用本地 AI 模型来模拟该方法。测试包括执行三项编码任务:查找损坏的链接、计算 TODO 注释以及编辑多个文件。结果显示,受代码模式启发的这种方法,通过脚本链接工具调用,与传统的每条消息调用一次工具的方法相比,消耗的 token 数量减少了 11 倍,并且需要减少 6 个轮次。这种方法也被证明更准确,在所有运行中都正确计算了 TODO,而经典…
-
OVHcloud 发布 Olala-v1.0-mini-7A1B LLM,拥有 1B 活跃参数
OVHcloud 发布了 Olala-v1.0-mini-7A1B,这是一个拥有约 10 亿活跃参数(每 token)的 68 亿参数混合专家模型。该模型在 Hugging Face 上以 Apache 2.0 许可提供,包含基础、SFT 和后训练等各种检查点。初步报告称需要 8 GB 内存,但仅 BF16 文件就达 13.59 GB,而 Q5_K_M 等量化版本将大小减少到约 5.99 GB。该模型的性能声明暗示需要显著的内存带宽,…
-
Mac 内存指南:在 16GB 至 128GB 系统上本地运行 LLM
一系列帖子探讨了在具有不同统一内存配置的 Mac 电脑上本地运行各种大型语言模型 (LLM) 的内存要求。分析详细说明了模型大小、参数数量和量化级别如何影响模型是否能适应可用的 GPU 内存,特别是对于 16GB 到 128GB 的配置。Gemma 4、LFM2.5、Qwen 和 Nemotron 等特定模型在配备 MLX 的 Mac 上的内存占用方面进行了讨论。
-
Inkling 2 Mini:新型 26B 循环 MoE 模型可在本地运行
Thinking Machines Lab 发布了 Inkling 2 Mini,这是一款专为本地设置设计的新型开放权重、多模态专家混合(Mixture-of-Experts)模型。该模型采用独特的循环 Transformer 架构,其中间层重复三次,使其能够以较少的参数量(总计 26.4B,激活 3.4B)实现显著性能。Inkling 2 Mini 支持 100 万 token 的上下文长度,在智能体编码任务方面表现出色,在 Dee…
-
本地 LLM 工具 llama.cpp、Ollama、LM Studio 正在整合共享引擎
对于希望在本地运行开放权重语言模型的用户来说,在 llama.cpp、Ollama 和 LM Studio 之间进行选择,已经不再是关于原始性能,而是更多地关于用户体验。截至 2026 年中期,Ollama 和 LM Studio 都利用 llama.cpp 引擎来处理 GGUF 模型,其中 Ollama 直接集成了来自上游 llama.cpp 的 llama-server。LM Studio 还在 Mac 上支持 Apple 的 M…
-
DiffusionBear v0.5.0 发布,支持 MLX 运行时和 Agent API
DiffusionBear 发布了 0.5.0 版本,这是一个重要的更新,移除了 PyTorch 运行时并围绕顺序 MLX 管道重建了生成功能。新版本引入了嵌入式 SHA-256 模型完整性检查、对 Kromoss 5B 模型支持、Qwen-Image 2.1 的 RGBA 透明度以及开放的 Agentic REST API 等功能。此次更新仅适用于运行 macOS 13.2 或更高版本的 Apple Silicon Mac,并推荐 …
-
MiniMax H3-Image 在低内存系统上高效运行
MiniMax H3-Image 是一款大型图像生成模型,在消费级硬件上展现出惊人的高效性能。用户报告称,该模型可以在仅有 8GB 显存或 MacBook 仅 3GB 系统内存的设备上运行,并实现快速生成。这种效率归功于分阶段推理、按需权重流式传输和优化的内存管理等技术,使得模型能够在显著减小的内存占用下运行,而速度或图像质量损失不大。
-
higurashi-ai 发布 Haru-4B 以实现实时口语对话 · 跟踪到 2 个来源
higurashi-ai 发布了 Haru-4B,这是一个多语言、全双工的对话式 AI 模型,专为实时口语对话而设计。该模型可以同时听和说,以 7.5 赫兹的速率处理音频并生成文本,每步耗时 133 毫秒。Haru-4B 支持角色和语音控制,允许用户使用参考片段自定义其个性和语音模式,并根据 Apache 许可证 2.0 开放用于研究目的。
-
Nace.ai 推出使用权重空间编程的新 Qwen 模型量化版本
Nace.ai 发布了 Qwen 模型的新量化版本,包括 Qwen 9B、27B、35B 和 Flash Next,采用了名为权重空间编程(WSP)的新技术。该方法受一篇研究论文启发,允许一个 AI 模型编辑另一个模型的权重,从而提高 KL 散度得分,表明与标准量化方法相比,准确性有所提高。新的量化版本有 GGUF 和 MLX 格式,在某些模型上,KL 散度降低效果比标准方法好高达 3.7 倍,基准测试结果显示了这一点。
-
十个本地LLM推理引擎在100GB内存、双GPU设备上的评估
一篇博文评估了十个本地推理引擎在拥有约100GB内存和两块16GB显卡的机器上的适用性。作者详细介绍了这些引擎的 lineage,指出其中一些源自 llama.cpp,而 vLLM 和 Sonar 等则提供了不同的架构方法。评估考虑了许可、内存管理和性能等因素,并将可用的基准数据与指定的硬件限制进行了比较。
-
EXO 通过 RDMA 支持将设备统一到本地 AI 集群
EXO 是一个新的点对点集群运行时,允许用户将多个设备连接成一个单一的 AI 集群,以便在本地运行大型模型。它会自动发现并连接同一网络上的设备,前提是它们运行相同版本的 EXO。该系统利用 Apple 的 MLX 框架进行推理,并支持各种 API 表面,包括 OpenAI Chat Completions 和 Ollama。EXO 还具有拓扑感知的自动并行化功能,可实现跨设备的有效模型拆分,并支持通过 Thunderbolt 5 的 …
-
Apple Silicon GPU通过新的稀疏内核获得LLM速度的重大提升
研究人员开发了metalSPARSE,一种用于Apple Silicon GPU的新型内核,通过利用半结构化稀疏性显著加速LLM解码。该内核压缩模型权重,从而实现更快的内存带宽利用率,这对于边缘设备上的自回归模型至关重要。基准测试显示,与M2和M4 MacBook上的现有方法相比,速度有了显著提升,并且在结合特定的掩码和量化技术时,对模型质量的影响很小。
-
Unsloth 发布 Dynamic v3.1 GGUFs,性能大幅提升
Unsloth 发布了其 Dynamic GGUFs 的 3.1 版本,为本地模型执行带来了显著的性能增强。此次更新包括更快的聊天流式传输和滚动,改进的代码块和思考显示等 UI 元素,以及将聊天导出为 HTML 和 PDF 格式的功能。此外,Unsloth 现在支持在 Mac 上使用 MLX 模型运行编码代理,并优化了图像生成模型以减少 VRAM 使用量并扩大 GPU 兼容性。
-
Apple Mac Studio搭载M5 Ultra在AI基准测试中挑战Nvidia DGX Spark
搭载M5 Ultra SoC的Apple Mac Studio正与Nvidia DGX Spark进行本地AI性能基准测试。Mac Studio配备了36核CPU和80核GPU,并集成神经网络加速器,拥有高达512GB的统一内存,在代理AI任务中表现出色。在使用llama.cpp通过AgentPerf-Local基准测试Qwen 3.8 27B模型时,Mac Studio完成任务的时间不到DGX Spark类系统的二分之一,且能耗降低了16%。
-
本地 LLM 基准测试数字因硬件和测量差异而差异巨大
本地 LLM 推理基准测试可能具有误导性,因为存在许多变量,包括硬件差异、模型文件变体以及不同服务器测量性能的方式。作者发现,服务器报告的指标通常不包括提示处理或初始 token 生成等关键因素,导致比较不一致。为解决此问题,作者开发了一个名为 TokenRace 的开源工具,通过从客户端的角度测量性能来标准化测试,考虑了首次 token 时间和整体有效速度等因素,并明确控制模型推理。
-
开发者使用MLX在Mac上微调20亿参数模型以玩Doom
一位开发者成功地使用MLX框架,在Mac上微调了一个20亿参数的决策模型来玩Doom游戏。该模型大约在3000帧上进行了训练,在20个回合中平均获得了23.2次击杀,展示了其识别和应对游戏中威胁的能力。该项目使用的开源工具mlx-decision,允许在Apple Silicon Mac上进行LoRA微调,并且可以通过pip install安装。
-
本地LLM:理解温度和采样带来的分数变异性
本地大型语言模型(LLM)由于默认的采样参数(如temperature、top-k和top-p)会为相同的输入产生不一致的分数。将temperature设置为0的常见解决方案可以解决变异性问题,但并未完全解释其底层机制。研究人员发现,通过预填充模型的响应以直接生成分数标记,并分析潜在分数的概率分布,可以更好地理解和管理固有的变异性。这种方法揭示了分数并非绝对值,而是概率性的,受采样配置的影响。
-
Zyphra 发布 ZONOS3-Mini,一款用于实时语音克隆的开源 TTS 模型
Zyphra 发布了 ZONOS3-Mini,这是一款专为在消费级硬件上实现实时性能而设计的开源文本转语音(TTS)模型。该模型采用稀疏专家混合(MoE)架构,拥有 1 亿个活跃参数,并支持零样本语音克隆。它可以通过 WebGPU 直接在网页浏览器中运行,也可在移动设备或各种 GPU 和 CPU 上运行,为开发者和用户提供了灵活性。
-
通过Ollama和MLX设置优化Mac上的本地LLM
本文提供了一篇关于使用Ollama和MLX优化Mac设备上本地大型语言模型(LLM)的指南。文章详细介绍了Ollama和llama.cpp中各种设置的内存使用情况,并就默认配置以及如何在24GB M5 MacBook Pro上调整它们以获得更好的性能提供了见解。重点是为本地运行LLM的用户提供实际的调整方法。