一位 r/LocalLLaMA 用户分享了他们比较两种专家混合(MoE)引擎 Strata 和 Basalt 的经验。在使用 Strata 一个月后,Strata 相比 llama.cpp 提供了显著的改进,但用户发现它容易出现上下文错误。他们最近切换到 Basalt,并报告称性能更快,错误更少,推理更准确,在相同的 Qwen3.8 FlashNext-ud-q4_k_xl 模型下,实现了 110-170 tokens/秒,而 Strata 为 70-110 tokens/秒。 AI
影响 提供了关于本地 LLM 推理引擎之间性能差异的见解,帮助用户优化他们的设置。
排序理由 用户对运行本地 LLM 的两个软件工具进行了比较。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →