Sharon Moeno

235B Qwen3模型通过定制C++引擎在48GB MacBook上运行

一位开发者成功地在配备48GB内存的消费级MacBook上运行了拥有2350亿参数的Qwen3-235B-A22B-Instruct-2507模型。这是通过使用定制的C++引擎和Metal内核，并从固态硬盘流式传输模型的专家来实现的。这个过程缓慢且不完美，但它证明了大型前沿模型可以在消费级硬件上运行，挑战了它们需要庞大GPU集群的假设。一个关键的调试挑战涉及聊天模板不匹配，通过加载正确的tokenizer解决了这个问题。