用户在本地设置 DeepSeek-V4 Flash 0731 模型时遇到几个问题。最初，Unsloth GGUF 版本的模型由于回退到 CPU 使用而运行缓慢。在切换到另一个版本的 DeepSeek-V4 Flash 并使用 oMLX 后，工具调用因 Unsloth 未能正确将工具信息发送给模型而静默失败。进一步的故障排除发现了一个与 30GB 热缓存大小限制相关的缓存无效问题，系统中报告了高缓存匹配百分比，但实际使用了零个 token。 AI
影响 强调了本地 LLM 部署的潜在问题和配置。
排序理由 用户详细介绍了特定模型设置的故障排除步骤。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
