Unsloth 发布了 DeepSeek-V4-Flash-0731 模型 GGUF 格式的优化版本，使其更易于在本地运行。这些模型与 llama.cpp、Ollama、LM Studio 和 Unsloth Studio 等各种流行推理工具兼容。性能基准测试表明，该模型可以在具有 40GB VRAM 的硬件上高效运行，生成速度超过每秒 16 个 token。 AI
影响 促进了更广泛的本地部署和对先进语言模型的实验。
排序理由 此次发布的是用于本地使用和现有推理工具的优化模型格式，而不是主要实验室发布的新前沿模型。
在 Hugging Face Trending Models 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
0 downloads · 66 likes
<!-- SC_OFF --><div class="md"><p>A100 with 40gb VRAM:</p> <ul> <li>162GB Q8_K_XL</li> <li>~16.1 tok/s generation</li> <li>Only 15.8GB of 40GB VRAM used with all experts on CPU</li> </ul> <p>NOTE just tested coding on linux box DeepSeek-V4-Flash-0731 runs losslessly on the single…
<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1vbtdok/unsloth_deepseek_v4_0731_ggufs_are_up/"> <img alt="Unsloth Deepseek V4 0731 GGUF's are UP!" src="https://external-preview.redd.it/wMZUsudfTHG534WgBRWwhtsK20jasRrxNGwenbWxNxM.png?width=640&crop=smar…