LM Studio 的最新更新(版本 0.4.17)对 MTP 模型的性能产生了负面影响。用户报告称,在从 0.4.14 版本更新后,吞吐量显著下降,从每秒约 70-100 个 token 降至约 70 个 token。导致此性能下降的原因目前尚不清楚,用户正在寻求解决方案以恢复之前的速度。 AI
影响 LM Studio 最新更新中的一个 bug 降低了 MTP 模型的性能,影响了用户本地 LLM 推理速度。
排序理由 该集群讨论了一个用于运行本地 LLM 的工具的软件更新,该更新引入了性能回归。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →