PulseAugur
实时 02:07:32
English(EN) Latest LM Studio update killed MTP performance

LM Studio 更新导致 MTP 模型性能下降

LM Studio 的最新更新(版本 0.4.17)对 MTP 模型的性能产生了负面影响。用户报告称,在从 0.4.14 版本更新后,吞吐量显著下降,从每秒约 70-100 个 token 降至约 70 个 token。导致此性能下降的原因目前尚不清楚,用户正在寻求解决方案以恢复之前的速度。 AI

影响 LM Studio 最新更新中的一个 bug 降低了 MTP 模型的性能,影响了用户本地 LLM 推理速度。

排序理由 该集群讨论了一个用于运行本地 LLM 的工具的软件更新,该更新引入了性能回归。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

LM Studio 更新导致 MTP 模型性能下降

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/ArugulaAnnual1765 ·

    LM Studio 最新更新导致 MTP 性能下降

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1u6l73j/latest_lm_studio_update_killed_mtp_performance/"> <img alt="Latest LM Studio update killed MTP performance" src="https://preview.redd.it/o7dsxole1h7h1.png?width=140&amp;height=140&amp;crop=1:1,smart&am…