一位用户使用 oMLX 框架和 openCode 成功在 MacBook Pro 上本地运行了 Qwen3.6-35B-A3B 大型语言模型。该设置能够实现快速的 token 输出,估计每秒约 100 个 token,从而无需互联网连接即可进行聊天和编码任务。该模型是一种专家混合(Mixture of Experts)类型,每个 token 使用约 30 亿个活跃参数,这有助于其速度和 4 位量化后的可管理大小,使其适合 Apple Silicon 的统一内存架构。该设置需要大量内存,约 20GB,并且可能导致 GPU 在运行时达到 100% 的容量。 AI
影响 在消费级硬件上实现本地、免费的 LLM 用于聊天和编码,并保护数据隐私。
排序理由 关于使用特定软件和硬件在本地运行特定 LLM 的用户指南。
- Apple Silicon
- LM Studio
- MacBook Pro
- Metal
- Mlx
- Ollama
- Omlx Local Ai Models
- openCode
- Open-WebUI
- Qwen3.6 35B-A3B
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →