235B Qwen3模型通过定制C++引擎在48GB MacBook上运行

一位开发者成功地在配备48GB内存的消费级MacBook上运行了拥有2350亿参数的Qwen3-235B-A22B-Instruct-2507模型。这是通过使用定制的C++引擎和Metal内核，并从固态硬盘流式传输模型的专家来实现的。这个过程缓慢且不完美，但它证明了大型前沿模型可以在消费级硬件上运行，挑战了它们需要庞大GPU集群的假设。一个关键的调试挑战涉及聊天模板不匹配，通过加载正确的tokenizer解决了这个问题。 AI

影响 证明了大型前沿模型可以在消费级硬件上运行，可能使访问和使用更加普及。

排序理由 演示了在消费级硬件上运行大型前沿模型，这是一项研究级别的成就。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

• CPP
• MacBook
• Metal
• Qwen3-235B-A22B-Instruct-2507
• Sharon Moeno

• 模型发布
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →