PulseAugur
中
实时 06:05:14
English(EN) Picking an MoE Model for a 24GB Mac with MLX Total parameters decide whether an MoE model fits in 24GB; active parameters decide speed. File sizes for gpt-oss,

Mac 内存指南:在 16GB 至 128GB 系统上本地运行 LLM

一系列帖子探讨了在具有不同统一内存配置的 Mac 电脑上本地运行各种大型语言模型 (LLM) 的内存要求。分析详细说明了模型大小、参数数量和量化级别如何影响模型是否能适应可用的 GPU 内存,特别是对于 16GB 到 128GB 的配置。Gemma 4、LFM2.5、Qwen 和 Nemotron 等特定模型在配备 MLX 的 Mac 上的内存占用方面进行了讨论。 AI

影响 为希望在消费级硬件上本地运行 LLM 的用户提供实用指导,详细说明了各种模型和 Mac 配置的内存要求。

排序理由 该集群提供了在消费级硬件上运行现有 LLM 的实用指导,而不是发布新模型或研究。

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →

Mac 内存指南:在 16GB 至 128GB 系统上本地运行 LLM

本文如何被排名

Signal score
13 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群提供了在消费级硬件上运行现有 LLM 的实用指导,而不是发布新模型或研究。
Source corroboration
3 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
infra, product
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [3]

  1. Mastodon — mastodon.social TIER_1 English(EN) · pickuma ·

    为配备 MLX 的 24GB Mac 选择 MoE 模型;总参数决定 MoE 模型是否适合 24GB;活跃参数决定速度。gpt-oss 的文件大小,

    Picking an MoE Model for a 24GB Mac with MLX Total parameters decide whether an MoE model fits in 24GB; active parameters decide speed. File sizes for gpt-oss, Gemma 4, LFM2.5, Qwen and Nemotron. https:// pickuma.com/for-dev/moe-models -24gb-mac-mlx/?utm_source=mastodon-mastodon.…

  2. Mastodon — mastodon.social TIER_1 English(EN) · pickuma ·

    本地大模型在 16GB M4 Mac 上:哪些能装下,哪些会崩溃 16GB M4 Mac 的 GPU 可用显存约为 11.45 GB (macOS 15) 或 12.7 GB (macOS 26+)。哪些 4B-14B 模型能装下

    Local LLMs on a 16GB M4 Mac: What Fits and What Breaks A 16GB M4 Mac lets the GPU use about 11.45 GB (macOS 15) or 12.7 GB (macOS 26+). Which 4B-14B models fit at 4-bit, and why 20B+ breaks. https:// pickuma.com/for-dev/local-llms -16gb-m4-mac-what-fits/?utm_source=mastodon-masto…

  3. Mastodon — mastodon.social TIER_1 English(EN) · pickuma ·

    本地 30B 或 70B 模型需要多少 Mac 内存 模型权重加上 KV 缓存必须适合统一内存的 GPU 份额。32GB、48GB、64GB 和 128GB 的 Mac 运行速度为 3

    How Much Mac Memory a 30B or 70B Local Model Needs Weights plus KV cache must fit the GPU share of unified memory. What 32GB, 48GB, 64GB and 128GB Macs run at 30B and 70B, with the context math. https:// pickuma.com/for-dev/mac-memory -for-30b-70b-local-llms/?utm_source=mastodon-…