一位开发者成功地在单块 RTX 6000 Pro GPU 上运行了 DeepSeek V4 Flash 模型，使用了 vLLM 的一个定制版本 vLLM-Moet。该设置支持 130K 的上下文窗口，尽管在模型载入 GPU 显存之前，初始加载大约需要 150 GB 的 RAM。实现这一成就的关键是将路由专家压缩到 2 位，同时保留 fp4 专家，这项技术归功于 vLLM-Moet 的开发者。 AI
影响 展示了在消费级硬件上高效部署大型模型的能力，可能降低了高级人工智能研究的门槛。
排序理由 用户驱动的现有模型优化和基准测试，并非来自前沿实验室的新发布。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
