一位 Reddit 用户在 MacBook Pro M5 Max 上比较了三种不同推理引擎的 Nanbeige4.3-33B 模型性能。比较重点关注了预填充（prefill）和解码（decode）速度、首个 token 的时间、延迟和内存使用情况，上下文长度范围从 512 到 32K tokens。结果表明，Nanbeige4.3-33B 模型在其 KV 缓存方面速度慢且效率低下，消耗大量内存。尽管它具有编码能力，但用户建议坚持使用 Qwen 模型以获得更好的性能。 AI
影响 为 Apple Silicon 上的本地 LLM 部署提供了性能见解，突出了模型和推理引擎之间的权衡。
排序理由 用户在不同推理引擎上对特定模型的基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
