实体 Victor Cruz

Victor Cruz

PulseAugur coverage of Victor Cruz — every cluster mentioning Victor Cruz across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_303775 · Oct 16 · 05:33

763B MoE 模型通过专家卸载在双 96GB GPU 上运行

一份技术指南详细介绍了如何在消费级硬件上运行 7630 亿参数的 DeepSeek-V4.1-Flash 模型，具体来说是两块拥有 96GB 显存的 Nvidia RTX PRO 6000 Blackwell GPU。该解决方案涉及将混合专家（MoE）架构的闲置“专家”卸载到服务器的主机 RAM 中，这项技术成功地将每 GPU 的显存需求从 100GB 以上降低到 73GB 以下。通过 ExLlamaV3 和 vLLM 的自定义堆栈实…