PulseAugur
中
实时 04:07:59
English(EN) llamacpp patch - DeepSeek V4 Flash running with full 1M token context locally on RTX 5090

DeepSeek V4 Flash 通过llamacpp补丁在RTX 5090上本地运行1M上下文

作者 PulseAugur 编辑部 · [1 个来源] ·

一位用户为llamacpp库开发了一个补丁，使DeepSeek V4 Flash模型能够在RTX 5090显卡上以100万token的上下文窗口本地运行。此修改解决了模型索引问题并实现了一个CUDA内核，将1M上下文的VRAM需求从估计的256GB显著降低到约3.75GB。该补丁已通过needle-in-a-haystack测试验证了其正确性，并提供了改进的预填充速度。 AI

影响 使得大型上下文模型能够在消费级硬件上本地执行，可能拓宽高级AI的访问范围和用例。

排序理由 用户为现有工具（llamacpp）开发的补丁，用于运行特定模型（DeepSeek V4），并增强了功能（本地1M上下文）。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

DeepSeek V4 Flash 通过llamacpp补丁在RTX 5090上本地运行1M上下文

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/da_dragon321 ·

    llamacpp补丁 - DeepSeek V4 Flash 在 RTX 5090 上本地运行，支持完整的1M token上下文

    <!-- SC_OFF --><div class="md"><p>Wanted to try running DeepSeek V4 Flash locally but found it asking for absurd amounts of VRAM at higher context lengths (~256GB at 1M). Turned out the DSA lightning indexer lacks proper llamacpp support. Did a bit of digging and there's an upstr…

相关实体

相关话题