一系列帖子探讨了在具有不同统一内存配置的 Mac 电脑上本地运行各种大型语言模型 (LLM) 的内存要求。分析详细说明了模型大小、参数数量和量化级别如何影响模型是否能适应可用的 GPU 内存,特别是对于 16GB 到 128GB 的配置。Gemma 4、LFM2.5、Qwen 和 Nemotron 等特定模型在配备 MLX 的 Mac 上的内存占用方面进行了讨论。 AI
影响 为希望在消费级硬件上本地运行 LLM 的用户提供实用指导,详细说明了各种模型和 Mac 配置的内存要求。
排序理由 该集群提供了在消费级硬件上运行现有 LLM 的实用指导,而不是发布新模型或研究。
在 Mastodon — mastodon.social 阅读 →
- 128GB
- 30b Parameter Model
- 32GB
- 48gb Ram
- 64Gb/s PAM4 and 160Gb/s 16QAM modulation reception using a low-voltage Si-Ge waveguide-integrated APD
- bromine-70
- Gemma 4
- gpt-oss
- graphics processing unit
- LFM2.5
- Mac
- macOS Sequoia
- MLX
- Nemotron
- Qwen
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →