一位用户分享了在本地运行 DeepSeek v4 Flash 模型进行优化的技巧，在 Hopper 系统上实现了近 200 token/秒的速度。通过利用 Canada-Quant 的特定量化以及修补 vLLM 中的 MTP 代码，用户显著提高了推理速度。该帖子还详细说明了成本影响，指出目前 token 生成的电力成本已超过收入。 AI
影响 为优化本地 LLM 推理速度提供了实用见解，可能降低用户的运营成本。
排序理由 用户分享的针对特定模型和硬件设置的优化技巧。[lever_c_demoted from research: ic=1 ai=0.7]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →