Flashattention
PulseAugur coverage of Flashattention — every cluster mentioning Flashattention across labs, papers, and developer communities, ranked by signal.
15 天有情绪数据
-
Meta 的 TLX 增强了 Triton 用户对 GPU 的控制
Meta 开发了 Triton 低级扩展 (TLX),旨在为工程师提供对 GPU 执行的更大控制,同时保持 Triton 编程模型。此扩展弥合了高级抽象与利用 warp specialization 和异步内存移动等现代 GPU 功能所需的低级控制之间的差距。TLX 引入了 MIMW 执行模型,平衡了 CUDA 的线程级控制与 Triton 的块级抽象,Meta 已使用它在训练和推理任务中实现了显著的性能提升。
-
10个免费资源助您掌握LLM推理工程
本文汇集了10个免费的LLM推理工程学习资源,涵盖了KV缓存、批处理、服务引擎和GPU内核等关键主题。资源包括Modular的手册、Hugging Face的连续批处理解释、斯坦福大学和麻省理工学院的大学讲座,以及对vLLM和Mini-SGLang等特定引擎的深入探讨。文章还推荐了GPU MODE讲座和Triton教程,以获取进一步的优化知识。
-
Together AI 从 megakernels 转向新的编译器以实现更快的 AI 推理
Together AI 宣布了其新的推理优化框架 Together Compiler,旨在提高 AI 模型性能。最初,该公司开发了将整个模型前向传播融合到单个 GPU 内核中的“megakernels”,实现了高速度但难以投入生产。通过进一步的实验,Together AI 发现通过利用 CUDA Graphs 和 Torch Inductor 等现有工具,他们可以在不编写自定义内核的情况下恢复大部分 megakernel 性能,甚至通…
-
LLM位置嵌入:架构、陷阱与生产路线图
本文深入探讨了位置嵌入在大型语言模型(LLM)Transformer架构中的关键作用。文章解释了这些在无序自注意力机制中缺失的嵌入是如何对于理解序列顺序至关重要的。文章进一步探讨了各种实现策略,包括正弦嵌入、学习嵌入、旋转嵌入和ALiBi嵌入,并讨论了它们对内存布局、延迟以及与FlashAttention等优化内核集成的 Yetki。作者强调,位置嵌入设计是一个系统性问题,对生产级LLM管道具有重大影响。
-
llama.cpp 为 Gemma 和 Qwen 模型添加了 MMA FlashAttention 支持
llama.cpp 项目发布了更新 b12285,引入了对具有 40 和 72 头大小的 MMA FlashAttention 的支持。此增强功能对于像 Gemma 和 Qwen 这样的视觉模型尤其重要,它们使用这些特定的头大小。此次更新支持在 NVIDIA Turing GPU 及更新的 GPU 上为这些大小启用张量核心调度,而像 Volta 和 AMD GPU 这样的旧架构将继续使用瓦片内核。
-
llama.cpp 为 NVIDIA GPU 添加 OCP FP8 支持,提升性能
llama.cpp 项目已在 CUDA 上引入对 OCP FP8(八位压缩精度浮点数 8 位)的支持,提升了 NVIDIA GPU 的性能。此次更新包括对通用矩阵向量乘法 (GEMV) 的优化,并将 FP8 支持集成到 FlashAttention 和 cuBLAS 中。基准测试显示速度显著提升,尤其是在 NVIDIA RTX Pro 4500 Blackwell GPU 上使用 Qwen3.6-27B-NVFP4 模型时,推理时间得到改善。
-
新的注意力方法将三维形状对应关系扩展到高分辨率表面
研究人员开发了一种名为 Geo-FlashAttention 的新方法,以提高高分辨率三维表面形状对应算法的效率。通过将空间-光谱耦合重新构建为注意力机制,该技术允许应用高效的注意力实现,从而显著减少运行时间和内存消耗。这一进步使得在大网格(如皮质表面)上的对应问题实现端到端学习成为可能,这对于分析复杂的几何细节至关重要。
-
大型语言模型记忆演进:从注意力机制到3位缓存
本文深入探讨了使大型语言模型(LLMs)能够处理更长上下文并提高效率的技术进步。文章追溯了从基础的“Attention Is All You Need”论文开始的演变,重点介绍了关键创新,如KV缓存、分组和潜在注意力机制(MHA、MQA、GQA、MLA、LRKV)、FlashAttention、混合专家模型(MoE)以及TurboQuant等量化技术。这些发展对于降低以前与LLMs相关的内存和计算需求至关重要,使它们在日常使用中更加实用。
-
Together Compiler 自动优化 AI 模型以提升性能
Together 推出了 Together Compiler,这是一款旨在自动优化 AI 模型推理内核的新工具。该系统利用代理来适应特定的模型、硬件和流量模式。早期结果表明性能有显著提升,中位数吞吐量增加了 12-20%,客户的响应时间缩短了近一半。
-
ZYFA 将 AMD MI355X FP8 FlashAttention 速度提升高达 1.99 倍
研究人员开发了 ZYFA,这是一套用于 AMD Instinct MI355X GPU 的新型预填充注意力核函数,它利用 FP8 精度来提高速度和精度。ZYFA 采用了新颖的技术,包括简化的概率计算和优化的调度方法,以克服 FP8 矩阵指令加速和矩阵完成硬件跟踪方面的限制。这使得吞吐量相比 AMD 的原生 AITER 核函数有了显著提升,数值误差与 Composable Kernel 和 Triton 等成熟库相当。
-
Step-dLLM 通过自适应稀疏注意力提升扩散 LLM 推理速度
研究人员开发了 Step-dLLM,一种在推理过程中提高扩散大型语言模型 (dLLM) 效率的新颖方法。与自回归模型不同,dLLM 不能使用 KV 缓存并在每一步重新计算注意力图,导致成本高昂。Step-dLLM 通过在锚点步骤自适应地刷新稀疏注意力掩码并采用头部自适应预算来优先处理注意力集中的头部来解决此问题。这种方法通过融合的 Triton 内核实现,在 LLaDA-1.5 和 Dream-7B-Instruct 等模型上实现了显…
-
Together AI发布多态推理,实现AI模型自适应部署
Together AI推出了一项名为多态推理(Polymorphic Inference)的新研究议程,旨在应对AI模型、架构和硬件的快速演变。这种方法与适用于不那么动态环境的传统静态推理(Static Inference)形成对比。多态推理旨在创建自适应推理系统,这些系统可以利用AI代理和持续编译(Continuous Compilation)等技术不断进行自我优化,以应对开源模型发布速度的加快和多样化的流量形态。
-
在Lean中形式化GPU内核以实现深度学习的正确性
研究人员开发了一种方法,通过在Lean证明助手(Lean proof assistant)中对并行线程执行(PTX)进行建模,来形式化验证深度学习中使用的GPU内核的正确性。该方法能够对常见的GPU内核模式进行数学推理,包括获取-释放语义(acquire-release semantics)、张量核(tensor cores)和异步操作(asynchronous operations)。该团队成功地使用此框架证明了WGMMA GEMM…
-
NVIDIA H200 GPU 在内存密集型 AI 任务上比 H100 具有成本优势
NVIDIA H200 GPU 相比 H100 提供了更高的内存带宽,使其在 LLM 推理等内存密集型任务中更高效。虽然 H200 的计算能力与 H100 相似,但其更高的内存吞吐量(4.8 TB/s 对比 3.35 TB/s)可以带来每 token 的成本节省,尤其是在 Together AI 等供应商处,其成本不到 H100 的 1.43 倍。即将推出的 Nvidia B200 GPU 预计将在所有指标和供应商上都优于 H100 …
-
新方法提升视频扩散模型效率和质量 · 追踪10个来源
研究人员正在开发新方法来提高视频扩散模型的效率和质量。几篇论文介绍了优化注意力机制的技术,例如 Per-Query Routed Sparse Attention (PQRS) 和 Spark-H3,它们在保持高质量生成的同时降低了计算成本。其他方法,如 Hierarchical Diffusion Transformers (HiT) 和 VMonarch,侧重于创建分层表示和结构化注意力模式,以增强图像和视频生成。此外,Scout…
-
KernelSeek AI代理通过提问优化CUDA内核,超越基线
研究人员开发了KernelSeek,一种新颖的问答式AI代理,旨在优化GPU性能的CUDA内核。与依赖广泛工具包或固定策略的现有代理不同,KernelSeek使用有针对性的问题来指导其优化过程,实现了显著的加速。在测试中,KernelSeek通过达到FlashAttention-3性能的1.13倍,超越了一个工具丰富的自主代理,并随后为NVIDIA的Hopper和Blackwell架构生成了优化的FlashAttention内核,其速…
-
使用新扩展从 SQL 推导出 FlashAttention 核
一个演示展示了如何使用大约 25 行 SQL 自动推导出 FlashAttention 核。此过程利用了三个正在开发的便携式 SQL 扩展,特别强调了 xarray-sql 库。该演示通过这种基于 SQL 的方法有效地表达了 vanilla attention。
-
新的 Merge and Branch 方法提高了 LLM 在推荐系统上的微调效率
研究人员开发了一种名为 Merge and Branch (M&B) 的新方法,以提高大型语言模型 (LLM) 在推荐系统上的监督微调效率。M&B 将历史项目信息压缩成更少的 token,并使用树状结构从单个编码历史中预测多个目标推荐。这种方法结合了用于高效计算的 tree FlashAttention,显著提高了训练和解码效率,同时优于现有的推荐基线。
-
新算法通过结构感知核加速长上下文相对位置注意力
研究人员开发了一种新算法,可显著提高处理长上下文的Transformer的速度并减少内存使用,特别是那些使用相对位置注意力机制的Transformer。该方法通过偏移感知分块和乘积重用,将加性相对位置项集成到FlashAttention风格的计算中。该方法展示了显著的性能提升,对于8K token序列,前向传播速度提高了6.4倍,后向传播速度提高了21倍,同时内存消耗也显著降低。
-
KV 缓存创新和 Rust 重写彻底改变 LLM 服务经济性 · 跟踪 1 个来源
最近的研究和工程进展正在显著改善 LLM 的服务经济性。创新包括通过压缩和量化优化 KV 缓存管理,以及采用新的方法,如针对特定模型架构的感知角色量化和激活补偿技术,以在较低的比特宽度下保持准确性。此外,新的服务策略正在涌现,例如分离模型组件以降低 CPU 成本,以及开发用于分布式推理的通信高效投机解码,所有这些都有助于更高效、可扩展的 LLM 部署。