PulseAugur
中
实时 19:03:24
实体 FlashAttention 3

FlashAttention 3

PulseAugur coverage of FlashAttention 3 — every cluster mentioning FlashAttention 3 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
8
90 天内 16
发布 · 30天
0
90 天内 0
论文 · 30天
6
90 天内 10
层级分布 · 90 天
主题
情绪 · 30 天

5 天有情绪数据

最近 · 第 1/1 页 · 共 17 条
  1. TOOL · CL_370764 ·

    TensorLean 框架验证 GPU 内核,发现 38 个错误

    哥伦比亚大学和 CertiK 的研究人员开发了 TensorLean,这是一个形式化验证框架,旨在确保 PTX 级别 GPU 内核的正确性。这个基于 Lean 的系统将编译后的内核与张量级数学规范进行分析,旨在检测数据竞争、终止失败和输出不正确等问题。在测试中,TensorLean 成功验证了 149 个内核实例中的 83 个,并在多个项目中发现了 38 个错误,包括 FlashAttention 套件中的重大问题。

  2. TOOL · CL_360481 ·

    Token2Tile 通过稀疏注意力加速视频扩散 Transformer

    研究人员开发了 Token2Tile,一种新颖的稀疏注意力算子,旨在加速视频扩散 Transformer。这种无需训练的方法结合了逐查询评分和瓦片执行,利用在线低秩空间来有效地聚类和选择相关的关键 Token。Token2Tile 已在 MiniMax-H3 和 Wan2.1-14B 等模型上实现了显著的端到端加速,生成速度提高了 1.48-1.54 倍,同时保持了具有竞争力的 VBench 分数。在特定数据集上,与现有方法相比,它在…

  3. TOOL · CL_347591 ·

    vLLM 0.33.0 发布了稳定的 ABI CUDA Wheel 包,便于 PyTorch 更新

    vLLM 团队发布了 0.33.0 版本,该版本包含一个使用 PyTorch 稳定 ABI 构建的 CUDA Wheel 包。此更改旨在允许用户在不重新编译 vLLM 的情况下更新其 PyTorch 版本。审计确认了该 Wheel 包的稳定 ABI 状态,尽管其元数据中仍将 PyTorch 锁定在 2.14.0 版本。此次迁移涉及 vLLM 及其依赖项(包括 FlashAttention 和 DeepGEMM)的大量代码更改,以确保与…

  4. TOOL · CL_348275 ·

    DSpine 通过并行草稿 token 生成增强 LLM 推理

    研究人员开发了一种新颖的大型语言模型(LLM)推测解码方法 DSpine,该方法可以并行生成草稿 token。该方法通过在每一层内相邻位置之间传递预测的前驱特征来提高效率,从而将因果依赖关系传递到网络的深度。该实现使用了具有 16 个块大小和 8192 个 token 滑动窗口的 Qwen3.8-27B 的五层草稿模型,与传统的自回归解码相比,速度得到了显著提升。

  5. RESEARCH · CL_343044 ·

    KernelSeek AI代理通过提问优化CUDA内核,超越基线

    研究人员开发了KernelSeek,一种新颖的问答式AI代理,旨在优化GPU性能的CUDA内核。与依赖广泛工具包或固定策略的现有代理不同,KernelSeek使用有针对性的问题来指导其优化过程,实现了显著的加速。在测试中,KernelSeek通过达到FlashAttention-3性能的1.13倍,超越了一个工具丰富的自主代理,并随后为NVIDIA的Hopper和Blackwell架构生成了优化的FlashAttention内核,其速…

  6. TOOL · CL_311119 ·

    FlashMask-3 推动大模型分布式注意力训练

    研究人员推出了 FlashMask-3,这是掩码感知分布式注意力的一项进展,旨在提高大型语言模型和多模态模型的训练效率。该新方法将注意力掩码的复杂度从二次方压缩到线性,从而在 GPU 上实现更快的处理。FlashMask-3 展现出显著的性能提升,包括提高 TFLOPs 和吞吐量,尤其是在具有大上下文窗口的分布式训练场景中。

  7. TOOL · CL_304151 ·

    FlashMask-3 通过优化的注意力核加速 LLM 训练

    研究人员开发了 FlashMask-3,这是一种新颖的稀疏掩码核,旨在加速大型语言和多模态模型的长上下文注意力。这个新核优化了 Hopper 架构 GPU 的注意力机制,显著降低了通信开销并提高了训练吞吐量。基准测试表明,FlashMask-3 在涉及分布式训练和大上下文窗口的场景中,与 FlashAttention-3、FlexAttention 和 MagiAttention 等现有方法相比,取得了显著的性能提升。

  8. RESEARCH · CL_268943 ·

    新研究推动表格基础模型实现高效和鲁棒性

    多篇研究论文探讨了表格基础模型(TFMs)的进展,重点关注提高其效率、鲁棒性和适应性。知识蒸馏等技术正被用于从大型TFM创建更小、更快的学生模型,而RelICL和VIP-COP等新方法则解决了关系学习和上下文优化中的挑战。此外,研究正在探索架构选择和参数高效适应策略,以增强TFM在亚群体偏移和大规模数据集等各种数据条件下的性能。

  9. RESEARCH · CL_252161 ·

    新的 LLM 推理技术提高了 GPU 利用率和效率

    研究人员开发了一种新的方法来剖析 LLM 推理的 GPU 利用率,超越单一百分比,提供源自 Nsight Compute 报告的八个详细视图。该方法将利用率差距映射到诸如片段填充和占用限制等特定机制,从而更精细地理解 Nvidia Hopper 架构上的性能。另外,中国移动云推出了结合 GPU 和神经形态处理器的异构 LLM 推理堆栈,声称在 DeepSeek V4 Flash 等模型的输出、能源效率和运营成本降低方面取得了显著的进步。

  10. TOOL · CL_197866 ·

    FlashAttention-2 & 3 应对 LLM 的 GPU 内存限制

    本文深入探讨了 FlashAttention-2 和 FlashAttention-3 的技术进步,解释了它们如何克服 GPU 内存带宽的限制。文章详细介绍了算法分块和异步内存管道的使用,以提高效率并有效消除大型语言模型中的上下文墙。

  11. RESEARCH · CL_180200 ·

    GRACE系统通过生成式推荐器加速实时广告检索

    一篇新的研究论文介绍GRACE,一个旨在加速生成式推荐器以进行实时广告检索的系统。GRACE通过实现生成式目标匹配(GTM)来改进广告定位,并优化编码器-解码器Transformer以降低延迟和成本,从而解决了资格和计算方面的挑战。该系统在NVIDIA GH200硬件上实现了显著的性能提升,将交叉注意力延迟降低了高达68倍,并将整体解码器延迟降低了11.1倍。

  12. TOOL · CL_167355 ·

    新的X-Stage流水线优化提升DiT推理速度

    研究人员发现了一个新的流水线阶段,称为X-Stage,可以优化扩散Transformer(DiT)推理过程中的通信-计算重叠。该阶段专注于通信启动后但尚未完全可见的期间,从而更好地预测和管理发送方背压。通过对这个X-Stage进行建模,研究人员重新设计了DeepGEMM MegaMoE和Ulysses序列并行注意力模型的通信-计算融合内核,与现有基线相比实现了显著的加速。

  13. RESEARCH · CL_167831 ·

    Sol-Attn 通过高效的稀疏注意力加速视频生成

    研究人员开发了 Sol-Attn,一种新的无需训练的稀疏注意力方法,旨在加速视频生成模型的推理。与以往因僵化的路由或丢弃信息而难以兼顾效率和准确性的方法不同,Sol-Attn 在单次通过中统一了动态路由、稀疏计算和近似校正。这种方法允许动态但可控的块预算,而无需物化代理分数,并且它会重用未选定块的分数来近似其贡献。实验表明,Sol-Attn 在视频生成方面实现了高达 2.1 倍的速度提升,在视频编辑方面实现了 2.3 倍的速度提升,同…

  14. TOOL · CL_68380 ·

    新框架加速 NVIDIA H20 GPU 上的 LLM 推理

    研究人员开发了 FlashMLA-ETAP,一个旨在显著加速 NVIDIA H20 GPU 上大型语言模型推理的新框架。该框架引入了高效转置注意力流水线 (ETAP),重新配置注意力计算以减少冗余操作。与现有方法(如 FlashMLA)相比,在 64K 的序列长度下,这种方法实现了 2.78 倍的加速,同时还表现出卓越的数值稳定性。

  15. SIGNIFICANT · CL_65070 ·

    字节跳动发布 Bernini 开源视频生成框架

    字节跳动发布了 Bernini,一个开源的视频生成和编辑框架。该系统结合了用于语义规划的多模态大语言模型和基于 DiT 的渲染器。据开发者称,根据其内部基准测试,Bernini 在视频编辑任务中取得了顶级性能,可与领先的商业模型相媲美。

  16. RESEARCH · CL_44358 ·

    Together AI发布FlashAttention-3和-4,加速大语言模型处理

    Together AI发布了FlashAttention-3和FlashAttention-4,这是其用于大语言模型的GPU加速注意力机制的重大升级。FlashAttention-3专为Hopper GPU设计,通过利用张量核心(Tensor Cores)和张量内存加速器(Tensor Memory Accelerator)等新硬件特性并支持FP8精度,实现了高达75%的利用率和比前代产品快1.5-2倍的速度。FlashAttenti…

  17. SIGNIFICANT · CL_44363 ·

    Together AI 借助 NVIDIA Blackwell 将 AI 训练速度提升 90%

    Together AI 推出了采用 NVIDIA Blackwell 平台的新 GPU 集群,显著加快了 AI 训练和推理速度。这些集群由 Together Kernel Collection 提供支持,与之前的 NVIDIA H100 硬件相比,训练速度最高可提高 90%,处理大型模型的速度超过每秒 15,000 个 token。Salesforce 和 Zoom 等早期客户已报告了显著的性能提升,其中一些客户的训练速度翻倍。Tog…