为 Apple Silicon 优化的 Kapitsa 推理引擎发布了更新 (0.2.26),提高了多个大型语言模型的性能。值得注意的是,Qwen Flash-Next 180B 现在提供了更快的提示读取速度,并且可以在 RAM 较少的系统上使用 SSD 卸载运行。该引擎还支持在本地运行 Clover 35B 等模型,基准测试显示在 MacBook Pro M5 Max 上,各种模型和上下文长度的代币生成速度具有竞争力。 AI
影响 增强了 Apple Silicon 上的本地 LLM 执行能力,使用户能够运行更大的模型并获得更快的推理速度。
排序理由 对用于本地 LLM 执行的开源推理引擎进行了更新。
- Apple Silicon
- Clover 35B
- Flint40B
- Kapitsa
- M5 Max 2026
- MacBook Pro
- Nemotron Bolt 74B
- Qwen 27B
- Qwen 35B
- Qwen Flash-Next 180B
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →