一位用户在更新 LM Studio 后，本地大模型设置的性能显著下降，其 RTX 3090 的处理速度从每秒 60-70 个 token 降至每秒 12-18 个 token。问题追溯到尽管设置显示最大卸载量，但只有 54 层被卸载到 GPU。通过将运行时从 CUDA12 切换到 CUDA 或 Vulkan，问题得以解决，其中 CUDA 性能略好。用户注意到 CUDA12 似乎强制进行了 CPU 卸载。 AI
影响 本地大模型部署工具的软件更新可能意外降低性能，需要用户调整运行时设置。
排序理由 用户报告了特定软件更新影响硬件性能的问题。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
