PulseAugur
中
实时 19:03:11
实体 DeepGEMM

DeepGEMM

PulseAugur coverage of DeepGEMM — every cluster mentioning DeepGEMM across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
8
90 天内 12
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
关系
情绪 · 30 天

5 天有情绪数据

最近 · 第 1/1 页 · 共 13 条
  1. TOOL · CL_370764 ·

    TensorLean 框架验证 GPU 内核,发现 38 个错误

    哥伦比亚大学和 CertiK 的研究人员开发了 TensorLean,这是一个形式化验证框架,旨在确保 PTX 级别 GPU 内核的正确性。这个基于 Lean 的系统将编译后的内核与张量级数学规范进行分析,旨在检测数据竞争、终止失败和输出不正确等问题。在测试中,TensorLean 成功验证了 149 个内核实例中的 83 个,并在多个项目中发现了 38 个错误,包括 FlashAttention 套件中的重大问题。

  2. TOOL · CL_352187 ·

    新的NVLink技术加速混合专家AI推理

    研究人员开发了一种名为NVLinkOneSided的新方法,用于加速NVLink上的混合专家(MoE)模型的推理。该方法通过允许GPU之间直接推送Token来优化专家并行全互联通信,绕过元数据交换并降低延迟,尤其适用于小批量大小。在Blackwell GPU上的基准测试显示,NVLinkOneSided相比DeepEP等现有方法实现了1.2-3.0倍的加速,使MoE层速度提升高达2.4倍,在解码任务中具有竞争力。

  3. TOOL · CL_361606 ·

    新的 NVLinkOneSided 协议加速 GPU 上的 MoE 推理

    研究人员开发了 NVLinkOneSided,这是一种新颖的单边专家并行全互连通信协议,专为单个 NVLink 域内的 GPU 上的专家混合 (MoE) 推理而设计。该方法允许 GPU 将 token 直接推送到目标缓冲区,绕过元数据交换并提高效率,尤其是在小批量大小的情况下。在 Blackwell GPU 上进行基准测试,与 DeepEP 相比,NVLinkOneSided 在调度和组合操作方面速度提高了 1.2-3.0 倍,MoE…

  4. TOOL · CL_347591 ·

    vLLM 0.33.0 发布了稳定的 ABI CUDA Wheel 包,便于 PyTorch 更新

    vLLM 团队发布了 0.33.0 版本,该版本包含一个使用 PyTorch 稳定 ABI 构建的 CUDA Wheel 包。此更改旨在允许用户在不重新编译 vLLM 的情况下更新其 PyTorch 版本。审计确认了该 Wheel 包的稳定 ABI 状态,尽管其元数据中仍将 PyTorch 锁定在 2.14.0 版本。此次迁移涉及 vLLM 及其依赖项(包括 FlashAttention 和 DeepGEMM)的大量代码更改,以确保与…

  5. TOOL · CL_330340 ·

    Prime Intellect 通过融合后向传播内核提高 MoE 训练速度

    Prime Intellect 通过添加融合、重叠的后向传播,增强了 DeepSeek 的 Mega MoE 内核,使其适用于训练专家混合(MoE)模型。与现有基线相比,该新内核 Prime Mega MoE 的训练步骤速度最高可提高 34%,与 TorchTitan 相比最高可提高 55%。前向传播的性能提升更为显著,最高可达 3.11 倍,而后向传播的改进则较为温和,约为 1.24 倍。该内核支持各种 NVIDIA GPU,包括 …

  6. TOOL · CL_330059 ·

    DeepSeek 发布 DeepInfer 推理引擎,优化大规模 AI 部署

    DeepSeek 已开源 DeepInfer,这是一款旨在优化大规模模型部署的新型推理引擎。该引擎集成了零开销批处理调度器、异步批处理、自定义内核和推测解码等先进技术。该系统旨在通过将 CPU 调度任务与 GPU 计算重叠,最大限度地减少 GPU 的空闲时间,从而提高整体效率。DeepInfer 还解决了异步步骤之间状态管理、内存生命周期管理以及大型专家混合(MoE)模型执行协调等方面的挑战。

  7. TOOL · CL_315615 ·

    DeepInfer 与 vLLM:在 B200 GPU 上进行推理速度基准测试

    DeepSeek 开发的新开源推理框架 DeepInfer 已在八个 NVIDIA B200 GPU 上与 vLLM 进行了基准测试。此次集成由 GPUStack 和一个名为 DeepInfer-server 的轻量级服务项目促进,旨在评估实际部署性能。在使用 DeepSeek-V4.1-Flash 模型进行的测试中,DeepInfer-server 报告了更高的输出吞吐量和更低的 token 间延迟,而 vLLM 在首 token …

  8. RESEARCH · CL_311557 ·

    DeepSeek 发布开源 DeepInfer 推理框架

    DeepSeek 发布了 DeepInfer,一个在 Apache 2.0 许可下的开源推理框架。该框架专为大规模推理而设计,并为 DeepSeek 的生产服务提供支持,开源版本侧重于离线推理。它支持 DeepSeek-V4.1-Flash 等模型,并提供优化内核、高级并行技术和结构化输出功能。DeepInfer 针对 NVIDIA GPU 和华为 Ascend NPU,需要特定的硬件和软件配置才能编译和运行。

  9. TOOL · CL_281367 ·

    vLLM v0.31.0 通过 FlashMLA、DeepGEMM 和 MXFP8 增强服务

    vLLM 发布了 0.31.0 版本,为其服务能力带来了重大增强。此次更新将 FlashMLA 与 V4.1 NVFP4 压缩 KV 缓存集成,作为 SM100 的默认配置,并包含了 DeepGEMM。该版本还具有稀疏 MQA logits、Mega-Gate 融合以及使用 MXFP8 量化的融合小批量 WO-A。

  10. TOOL · CL_271858 ·

    DeepSeek 开源支持华为 Ascend 硬件的 AI 基础设施

    DeepSeek 已发布其 TileLang、DeepGEMM 和 DeepEP 基础设施组件的开源 Ascend 兼容版本。这些工具旨在优化 AI 模型在华为 Ascend 硬件上的性能。此次发布旨在促进 AI 社区内更广泛的采用和发展。

  11. SIGNIFICANT · CL_270507 ·

    DeepSeek、华为开源工具挑战英伟达AI主导地位 · 跟踪10个来源

    DeepSeek 和华为联合发布了一套开源工具,旨在增强华为 Ascend AI 芯片的软件生态系统。该计划旨在提供 Nvidia 的 CUDA 平台的 viable 替代方案,提供 TileLang 编程语言、高性能计算库(DeepGEMM、FlashMLA)和分布式通信库(DeepEP)等组件。此次合作的重点是使开发人员能够更轻松地充分发挥 Ascend 硬件的全部性能,在中国培养一个独立可控的人工智能芯片软件环境。

  12. TOOL · CL_104500 ·

    智谱AI的GLM-5.2模型已部署在无服务器GPU上

    智谱AI发布了GLM-5.2,一个拥有7000亿参数的混合专家模型(MoE),在复杂推理和软件工程任务方面表现出色,据报道在某些基准测试中能媲美甚至超越Claude 3.5 Sonnet和GPT-4o等专有模型。由于其庞大的权重和上下文窗口,部署这个大型模型需要一个8x NVIDIA H200 GPU集群,这带来了显著的基础设施挑战。文章详细介绍了在无服务器GPU平台Modal上部署GLM-5.2的案例研究,强调了FP8量化在内存效率…

  13. RESEARCH · CL_21392 ·

    DeepSeek V4 通过自定义内核取代 cuBLAS 实现更快的性能

    DeepSeek 开发了一个自定义内核栈 DeepGEMM 和 TileLang,其性能不仅媲美,而且超越了 NVIDIA 的 cuBLAS。此自定义实现实现了比特级确定性和批次不变性,解决了其他工作负载平衡策略(如 splitK 或 split-KV)中常见的非确定性输出问题。这项创新在于其浮点数学方法,确保了调试和训练结果的一致性。