一位用户成功地在他们的个人硬件（特别是 RTX 5090）上优化并运行了 DeepSeek V4 Flash 模型。他们分享了基准测试结果，显示了改进的 token 处理速度以及处理高达 100 万 token 的上下文窗口的能力。这是通过使用修改版的 llama.cpp 以及特定的构建和命令行参数实现的，并感谢另一位用户提供的模型量化和协助。 AI
影响 证明了在本地运行大型上下文模型的可行性，可能降低了高级 AI 使用的门槛。
排序理由 用户驱动的现有模型优化和本地部署。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1umsik8/deepseek_v4_flash_running_on_rtx_5090_moe/"> <img alt="Deepseek V4 Flash running on RTX 5090 MoE" src="https://preview.redd.it/fue6qxcsd3bh1.png?width=140&height=29&auto=webp&s=166a48bc2de0…
<!-- SC_OFF --><div class="md"><p>I remember seeing something the other day about someone running deepseek locally because of some deepseek engine program or some shit and I can't for the life of me remember what it was called or think of the name of it and this shit's driving me…