Nemotron Bolt 74B

Kapitsa 推理引擎提升 Apple Silicon 运行 Qwen、Nemotron 模型性能

为 Apple Silicon 优化的 Kapitsa 推理引擎发布了更新 (0.2.26)，提高了多个大型语言模型的性能。值得注意的是，Qwen Flash-Next 180B 现在提供了更快的提示读取速度，并且可以在 RAM 较少的系统上使用 SSD 卸载运行。该引擎还支持在本地运行 Clover 35B 等模型，基准测试显示在 MacBook Pro M5 Max 上，各种模型和上下文长度的代币生成速度具有竞争力。