FlashMLA
PulseAugur coverage of FlashMLA — every cluster mentioning FlashMLA across labs, papers, and developer communities, ranked by signal.
- developed by DeepInfer: Open-Source Deep Learning Deployment Toolkit for Image-Guided Therapy 90%
- developed by ForgeKernel 90%
- used by DeepInfer: Open-Source Deep Learning Deployment Toolkit for Image-Guided Therapy 70%
- uses DeepSeek-V4.1-Flash 70%
- developed by DeepSeek-V4.1-Flash 70%
- competes with ForgeKernel 70%
- used by DeepSeek-V4.1-Flash 70%
- developed DeepSeek-V4.1-Flash 50%
4 天有情绪数据
-
AI代理自主优化NVIDIA GPU内核,以9.8%的优势击败基线
一个名为ForgeKernel的AI代理已自主优化了NVIDIA B200 GPU的FlashMLA基线,在不到22小时内实现了9.8%的性能提升。该代理在未访问原始源代码的情况下,将内核速度从518 µs提高到472 µs,展示了一种新颖的低级GPU代码优化方法。OpenBMB已开源了优化后的内核和ForgeKernel工具,为AI驱动的性能调优提供了进一步实验的可能性。
-
AI代理ForgeKernel编写代码速度超越人类专家
一个名为ForgeKernel的AI代理已自主生成了AI硬件的优化代码,超越了人类编写的基准。在一次22.5小时的现场演示中,ForgeKernel编写的代码在Nvidia B200 GPU上比DeepSeek的FlashMLA Prefill算子快9.8%。这款AI生成的算子在Ascend硬件上的多个基准测试中取得了卓越的性能,展示了其对不同架构的适应性。该系统由Face-to-Face Intelligence和OpenBMB开发…
-
DeepSeek 发布 DeepInfer 推理引擎,优化大规模 AI 部署
DeepSeek 已开源 DeepInfer,这是一款旨在优化大规模模型部署的新型推理引擎。该引擎集成了零开销批处理调度器、异步批处理、自定义内核和推测解码等先进技术。该系统旨在通过将 CPU 调度任务与 GPU 计算重叠,最大限度地减少 GPU 的空闲时间,从而提高整体效率。DeepInfer 还解决了异步步骤之间状态管理、内存生命周期管理以及大型专家混合(MoE)模型执行协调等方面的挑战。
-
AI 生成的算子在基准测试中超越了人工调优的性能
DeepSeek 已开源其推理框架 DeepInfer 以及 FlashMLA 算子库。此举旨在提高国产大模型在硬件上的性能。值得注意的是,一个名为 ForgeKernel 的 AI 生成算子库,在没有人工逐行调优的情况下,已经超越了人工优化的算子。ForgeKernel 在 NVIDIA 的 SOL-ExecBench FlashInfer-Bench 和华为的 CANNBench A3 上均取得了最高排名,展示了显著的性能提升。
-
DeepInfer 与 vLLM:在 B200 GPU 上进行推理速度基准测试
DeepSeek 开发的新开源推理框架 DeepInfer 已在八个 NVIDIA B200 GPU 上与 vLLM 进行了基准测试。此次集成由 GPUStack 和一个名为 DeepInfer-server 的轻量级服务项目促进,旨在评估实际部署性能。在使用 DeepSeek-V4.1-Flash 模型进行的测试中,DeepInfer-server 报告了更高的输出吞吐量和更低的 token 间延迟,而 vLLM 在首 token …
-
DeepSeek 发布开源 DeepInfer 推理框架
DeepSeek 发布了 DeepInfer,一个在 Apache 2.0 许可下的开源推理框架。该框架专为大规模推理而设计,并为 DeepSeek 的生产服务提供支持,开源版本侧重于离线推理。它支持 DeepSeek-V4.1-Flash 等模型,并提供优化内核、高级并行技术和结构化输出功能。DeepInfer 针对 NVIDIA GPU 和华为 Ascend NPU,需要特定的硬件和软件配置才能编译和运行。
-
vLLM v0.31.0 通过 FlashMLA、DeepGEMM 和 MXFP8 增强服务
vLLM 发布了 0.31.0 版本,为其服务能力带来了重大增强。此次更新将 FlashMLA 与 V4.1 NVFP4 压缩 KV 缓存集成,作为 SM100 的默认配置,并包含了 DeepGEMM。该版本还具有稀疏 MQA logits、Mega-Gate 融合以及使用 MXFP8 量化的融合小批量 WO-A。
-
DeepSeek、华为开源工具挑战英伟达AI主导地位 · 跟踪10个来源
DeepSeek 和华为联合发布了一套开源工具,旨在增强华为 Ascend AI 芯片的软件生态系统。该计划旨在提供 Nvidia 的 CUDA 平台的 viable 替代方案,提供 TileLang 编程语言、高性能计算库(DeepGEMM、FlashMLA)和分布式通信库(DeepEP)等组件。此次合作的重点是使开发人员能够更轻松地充分发挥 Ascend 硬件的全部性能,在中国培养一个独立可控的人工智能芯片软件环境。
-
新框架加速 NVIDIA H20 GPU 上的 LLM 推理
研究人员开发了 FlashMLA-ETAP,一个旨在显著加速 NVIDIA H20 GPU 上大型语言模型推理的新框架。该框架引入了高效转置注意力流水线 (ETAP),重新配置注意力计算以减少冗余操作。与现有方法(如 FlashMLA)相比,在 64K 的序列长度下,这种方法实现了 2.78 倍的加速,同时还表现出卓越的数值稳定性。