FlashAttention-3
PulseAugur coverage of FlashAttention-3 — every cluster mentioning FlashAttention-3 across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
FlashAttention-2 & 3 应对 LLM 的 GPU 内存限制
本文深入探讨了 FlashAttention-2 和 FlashAttention-3 的技术进步，解释了它们如何克服 GPU 内存带宽的限制。文章详细介绍了算法分块和异步内存管道的使用，以提高效率并有效消除大型语言模型中的上下文墙。
-
GRACE系统通过生成式推荐器加速实时广告检索
一篇新的研究论文介绍GRACE，一个旨在加速生成式推荐器以进行实时广告检索的系统。GRACE通过实现生成式目标匹配（GTM）来改进广告定位，并优化编码器-解码器Transformer以降低延迟和成本，从而解决了资格和计算方面的挑战。该系统在NVIDIA GH200硬件上实现了显著的性能提升，将交叉注意力延迟降低了高达68倍，并将整体解码器延迟降低了11.1倍。
-
新的X-Stage流水线优化提升DiT推理速度
研究人员发现了一个新的流水线阶段，称为X-Stage，可以优化扩散Transformer（DiT）推理过程中的通信-计算重叠。该阶段专注于通信启动后但尚未完全可见的期间，从而更好地预测和管理发送方背压。通过对这个X-Stage进行建模，研究人员重新设计了DeepGEMM MegaMoE和Ulysses序列并行注意力模型的通信-计算融合内核，与现有基线相比实现了显著的加速。
-
Sol-Attn 通过高效的稀疏注意力加速视频生成
研究人员开发了 Sol-Attn，一种新的无需训练的稀疏注意力方法，旨在加速视频生成模型的推理。与以往因僵化的路由或丢弃信息而难以兼顾效率和准确性的方法不同，Sol-Attn 在单次通过中统一了动态路由、稀疏计算和近似校正。这种方法允许动态但可控的块预算，而无需物化代理分数，并且它会重用未选定块的分数来近似其贡献。实验表明，Sol-Attn 在视频生成方面实现了高达 2.1 倍的速度提升，在视频编辑方面实现了 2.3 倍的速度提升，同…
-
新框架加速 NVIDIA H20 GPU 上的 LLM 推理
研究人员开发了 FlashMLA-ETAP，一个旨在显著加速 NVIDIA H20 GPU 上大型语言模型推理的新框架。该框架引入了高效转置注意力流水线 (ETAP)，重新配置注意力计算以减少冗余操作。与现有方法（如 FlashMLA）相比，在 64K 的序列长度下，这种方法实现了 2.78 倍的加速，同时还表现出卓越的数值稳定性。
-
字节跳动发布 Bernini 开源视频生成框架
字节跳动发布了 Bernini，一个开源的视频生成和编辑框架。该系统结合了用于语义规划的多模态大语言模型和基于 DiT 的渲染器。据开发者称，根据其内部基准测试，Bernini 在视频编辑任务中取得了顶级性能，可与领先的商业模型相媲美。
-
Together AI发布FlashAttention-3和-4，加速大语言模型处理
Together AI发布了FlashAttention-3和FlashAttention-4，这是其用于大语言模型的GPU加速注意力机制的重大升级。FlashAttention-3专为Hopper GPU设计，通过利用张量核心（Tensor Cores）和张量内存加速器（Tensor Memory Accelerator）等新硬件特性并支持FP8精度，实现了高达75%的利用率和比前代产品快1.5-2倍的速度。FlashAttenti…
-
Together AI 借助 NVIDIA Blackwell 将 AI 训练速度提升 90%
Together AI 推出了采用 NVIDIA Blackwell 平台的新 GPU 集群，显著加快了 AI 训练和推理速度。这些集群由 Together Kernel Collection 提供支持，与之前的 NVIDIA H100 硬件相比，训练速度最高可提高 90%，处理大型模型的速度超过每秒 15,000 个 token。Salesforce 和 Zoom 等早期客户已报告了显著的性能提升，其中一些客户的训练速度翻倍。Tog…