English(EN) A 763B MoE on two 96 GB GPUs: put the idle experts in host RAM, then measure per stream

763B MoE 模型通过专家卸载在双 96GB GPU 上运行

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-16 05:33

一份技术指南详细介绍了如何在消费级硬件上运行 7630 亿参数的 DeepSeek-V4.1-Flash 模型，具体来说是两块拥有 96GB 显存的 Nvidia RTX PRO 6000 Blackwell GPU。该解决方案涉及将混合专家（MoE）架构的闲置“专家”卸载到服务器的主机 RAM 中，这项技术成功地将每 GPU 的显存需求从 100GB 以上降低到 73GB 以下。通过 ExLlamaV3 和 vLLM 的自定义堆栈实现的这种方法，能够实现高效推理，测量结果显示，即使在上下文长度很长的情况下，也能支持每秒约 40 个 token 的四个并发流。 AI

影响使得在更易获得的硬件上运行大型 MoE 模型成为可能，从而可能降低高级 AI 实验的门槛。

排序理由此条目详细介绍了一种在消费级硬件上运行大型模型的技术方法，而非新的模型发布或研究突破。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 22 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 此条目详细介绍了一种在消费级硬件上运行大型模型的技术方法，而非新的模型发布或研究突破。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · InferenceKey · 2026-10-16 05:33

763B MoE 在两块 96 GB GPU 上运行：将闲置专家置于主机 RAM 中，然后测量每个流

<p>The model has 763B parameters, the server has two graphics cards, and the gap was about six gigabytes per card. DeepSeek-V4.1-Flash, even compressed to 3 bits, wanted 102.1 GiB of VRAM (the memory on the GPU itself) on each of two RTX PRO 6000 Blackwell cards, and each card of…

本文如何被排名

报道来源 [1]

763B MoE 在两块 96 GB GPU 上运行：将闲置专家置于主机 RAM 中，然后测量每个流

相关实体

相关话题