一项技术测试表明,一个拥有 350 亿参数的混合专家(MoE)模型 Qwen3.6-35B-A3B,可以在只有 4GB 显存的消费级 NVIDIA GTX 1650 Max-Q GPU 上运行。实现这一可行性的关键在于 MoE 架构,它为每个 token 只使用其参数的一个子集,从而允许模型的大部分权重存储在系统内存(RAM)而非显存(VRAM)中。这种混合 CPU/GPU 推理方法实现了每秒 21-22 个 token 的实际速度,使其可用于交互式应用。 AI
影响 证明了大型 MoE 模型可以在消费级硬件上运行,这可能降低了高级 AI 应用的入门门槛。
排序理由 技术测试,证明了在有限硬件上运行大型 MoE 模型的可行性。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →