实体 vLLM-Moet

vLLM-Moet

PulseAugur coverage of vLLM-Moet — every cluster mentioning vLLM-Moet across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_135501 · Jul 10 · 02:06

DeepSeek V4 Flash 在单块 RTX 6000 Pro 上通过 vLLM-Moet 运行

一位开发者成功地在单块 RTX 6000 Pro GPU 上运行了 DeepSeek V4 Flash 模型，使用了 vLLM 的一个定制版本 vLLM-Moet。该设置支持 130K 的上下文窗口，尽管在模型载入 GPU 显存之前，初始加载大约需要 150 GB 的 RAM。实现这一成就的关键是将路由专家压缩到 2 位，同时保留 fp4 专家，这项技术归功于 vLLM-Moet 的开发者。