PulseAugur
中
实时 05:00:39
实体 SM100

SM100

PulseAugur coverage of SM100 — every cluster mentioning SM100 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
5
90 天内 6
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
关系
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 6 条
  1. TOOL · CL_335005 ·

    新的 CLI 工具帮助用户选择最佳 LLM 服务引擎

    一款名为 servefit 的新的开源 Python CLI 工具已被开发出来,以帮助用户为他们的特定硬件和模型需求选择最合适的 LLM 服务引擎。该工具盘点硬件能力,计算模型的内存需求,并查阅精选的引擎支持矩阵,以提供带有明确理由的推荐引擎。它旨在简化在承诺 GPU 租赁或重大堆栈更改之前选择 LLM 服务解决方案的过程。

  2. TOOL · CL_320119 ·

    DeepSeek 开源 DeepInfer 以实现高效 LLM 推理

    DeepSeek 已开源 DeepInfer,这是一个专为高效大规模模型部署设计的推理框架。该工具包支持在 Nvidia SM100 GPU 和华为 Ascend 950 NPU 等硬件上对 DeepSeek-V4.1-Flash 等模型进行离线推理。主要功能包括用于测试的确定性输出生成、强制模型输出遵循 JSON schema 约束的能力以及用于性能优化的内核。

  3. TOOL · CL_313729 ·

    DeepInfer 部署工具包需要专用硬件,未达到生产就绪状态

    DeepInfer 开源深度学习部署工具包需要 SM100 或 Ascend 950 等特定硬件,并且缺少 KV 缓存和负载均衡等功能,因此不适合独立用于生产环境。该帖子询问用户目前使用什么硬件来运行 DeepSeek 模型。

  4. TOOL · CL_311140 ·

    DeepSeek 开源其模型的 DeepInfer 推理框架

    DeepSeek 已开源 DeepInfer,这是为其包括 DeepSeek-V4.1-Flash 模型在内的生产服务提供支持的推理框架。该工具包在 Apache 2.0 许可下发布,提供了对前沿实验室服务堆栈的难得一瞥,并包含 FlashMLA 和 DSpark 等组件以优化性能。DeepInfer 支持 NVIDIA SM100 和 Huawei Ascend 950 硬件,展示了高吞吐率,尤其是在解码操作方面。

  5. TOOL · CL_311066 ·

    DeepSeek 开源生产推理引擎 DeepInfer

    DeepSeek 已开源其生产推理引擎 DeepInfer,该引擎为其大规模服务提供动力。发布的代码包括一个重要的调度器、MoE 专家并行负载均衡、推测解码和一个评估工具。然而,像 KV 缓存系统和跨数据并行副本的负载均衡等与 DeepSeek 内部基础设施紧密耦合的关键组件未包含在此次发布中。该引擎目前仅支持 DeepSeek-V4.1-Flash 模型和特定的 NVIDIA SM100 GPU 或华为昇腾 950 NPU。

  6. TOOL · CL_281367 ·

    vLLM v0.31.0 通过 FlashMLA、DeepGEMM 和 MXFP8 增强服务

    vLLM 发布了 0.31.0 版本,为其服务能力带来了重大增强。此次更新将 FlashMLA 与 V4.1 NVFP4 压缩 KV 缓存集成,作为 SM100 的默认配置,并包含了 DeepGEMM。该版本还具有稀疏 MQA logits、Mega-Gate 融合以及使用 MXFP8 量化的融合小批量 WO-A。