对 NVIDIA RTX 5090 GPU 上 Qwen3.8-FN 模型的三种推理引擎——basalt、cachy-flash 和 ninfer-ext——的比较显示,basalt 通常提供更优越的性能。在各种上下文长度下,basalt 在预填充和解码操作中始终实现了更高的 tokens-per-second 速率。虽然 cachy-flash 在较短的上下文长度下显示出具有竞争力的预填充速度,但随着上下文长度的增加,basalt 保持了领先地位,而 ninfer-ext 则落后于两者。 AI
影响 优化推理引擎可以显著提高本地运行大型语言模型的速度和效率。
排序理由 特定模型的推理引擎基准比较。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →