一位用户在一台配备 M1 Pro 芯片和 16GB 内存的 2021 年款 MacBook Pro 上,对包括 Qwen 和 Nemotron 变体在内的几款大型语言模型的性能进行了基准测试。这些基准测试使用 Kapitsa 推理引擎(针对 Apple Silicon 进行了优化)进行,测量了从 4B 到 35B 参数的模型在解码和预填充速度。结果表明,即使是较旧的 MacBook 型号也能有效地运行这些模型进行编码任务,并且针对 Apple 的 Metal 内核进行了特定优化。 AI
影响 展示了消费级硬件运行日益强大的开源 LLM 进行编码任务的能力。
排序理由 用户生成的关于在消费级硬件上运行开源模型的基准测试。
- Kapitsa
- MacBook M1 Pro
- Nemotron
- Nemotron Dory 4B
- Nemotron Nano 9B
- Nemotron Nano v2
- Qwen
- Qwen3.5 4B
- Qwen 35B
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →