在配备 64GB RAM 的 Apple M1 Max 上进行的本地大模型基准测试显示，更大的模型并非总是更慢。测试使用 Ollama，发现一个 23.9GB 的 Qwen3.6 MoE 模型达到了 60.4 token/秒，优于一个较小的 6.6GB Qwen 3.5 密集模型，后者得分为 40.5 token/秒。这是因为 MoE 模型每个 token 使用的激活参数更少，尽管总体尺寸更大，但解码速度更快。基准测试还强调了在测试中避免缓存效应的重要性，特别是对于预填充速度，并建议使用多次运行的中位数以获得可靠结果。 AI
影响 关于旧硬件上本地大模型性能的见解，特别是 MoE 与密集模型的行为对比，可以为用户选择和硬件利用提供信息。
排序理由 该项目详细介绍了在旧硬件上本地大模型性能的特定基准测试和分析，包括方法和发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
