Flash Attention
PulseAugur coverage of Flash Attention — every cluster mentioning Flash Attention across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Hugging Face Transformers v5.19.0 增加了 Gemma 2，更新了 MoE 模型
Hugging Face Transformers 库已发布 5.19.0 版本，引入了新的模型添加和对现有功能的重大更改。关键更新包括基于 Google 的 Gemma 4 架构构建的 EmbeddingGemma2 模型，该模型支持多模态嵌入。此次发布还标准化了 MoE 模型路由器的 logits 返回，与 Qwen3-MoE 模式保持一致，并修改了 Owlv2ForObjectDetection 的行为以改进查询选择。此外，该库…
-
llama.cpp 项目发布预发布更新，包含性能优化
llama.cpp 项目发布了多个预发布更新，包括对 MoE expert 的 GPU 缓存管理改进、针对 Apple Silicon 的各种量化类型的优化，以及对 Metal fusion 操作的修复。这些更新还解决了 temperature-zero chains 的采样逻辑，并引入了新的词汇 token。这些发布涵盖了 macOS、iOS、Linux、Android 和 Windows 等广泛平台，并针对 Apple Silic…
-
新工具和研究致力于 GPU AI 工作负载的优化
多篇研究论文和一个新的开源工具解决了在 GPU 上优化 AI 工作负载的挑战。COMPASS-ABS 旨在减少深度学习训练共享 GPU 集群中的碎片化，提高资源利用率和作业完成时间。研究人员还开发了自适应框架，如用于商品 GPU 上高效长上下文推理的 Tri-Metric Router 和使用数据流不变性进行代理 GPU 优化的 Ave。此外，mKernel 和 AttnFuse 分别专注于为多 GPU 系统和注意力机制创建快速、融合…
-
llama.cpp 为 RDNA GPU 进行 Flash Attention 调优
llama.cpp 项目已提交一个拉取请求，专注于为 CUDA 和 HIP 架构优化 Flash Attention。这些更改专门针对 gfx1201 硬件，并可能为 RDNA4 和 RDNA3.5 GPU 带来性能提升，尤其是在处理大型上下文时。
-
旧硬件上的大型语言模型推理揭示了不断演变的真相
作者详细介绍了在旧硬件上运行大型语言模型推理的经验，并将其与科学理解的不断演变进行了类比。起初，他们对最佳配置持有几种假设，例如禁用 Flash Attention 或强制使用特定内核，但这些假设后来被实际应用和硬件限制所推翻。学到的关键经验包括通过受控实验、阅读源代码以及随着时间的推移观察生产证据来验证主张的重要性，而不是仅仅依赖社区的主张或临时测量。这种专注于理解底层机制而非仅仅关注结果的严谨方法，被认为是性能工程的真正产物。
-
Flash Attention 的启用随着模型和量化需求而变化
一位开发者最初在 Pascal GPU 上禁用了 Flash Attention，因为他认为性能会下降 50%。然而，最近量化 KV 缓存的进步，尤其是在 llama.cpp 中，使得启用 Flash Attention 成为在有限硬件上实现大上下文窗口的某些模型栈的必需品。这种转变凸显了特定的硬件优化如何根据所使用的模型架构和量化技术变得有益甚至强制性，而不是静态的硬件限制。
-
llama.cpp 中 MiniMax M3 LLM 性能调整
一位用户正在 Mac 上使用 llama.cpp 框架对 MiniMax M3 大型语言模型进行实验。他们在使用该模型时偶尔会遇到轻微的幻觉和异常，并怀疑这可能与其 MiniMax Sparse Attention (MSA) 实现有关。通过禁用 Flash Attention（这会禁用 MSA），用户观察到生成速度显著下降。进一步的测试涉及将 MSA 与 Flash Attention 分离，这表明尽管可能存在性能权衡，但模型在没有…
-
27B编码模型在16GB GPU上证明有用
一位开发者在消费级16GB GPU上探索了270亿参数编码模型Qwen3.8-27B的实际效用。实验在配备AMD Ryzen 9 9950X和Nvidia RTX 5060 Ti的系统上，使用llama.cpp和Docker进行模型设置。开发者发现，尽管原始的token生成速度一般，但该模型在合理的时间内成功完成了一个涉及修改多个文件并通过测试的复杂编码任务。
-
llama.cpp V cache quantization 需要 flash_attn，影响上下文窗口计算
llama.cpp 项目有一个配置要求，即“V cache quantization”（V 缓存量化）需要使用“flash_attn”。这种联系通常被忽视，源于系统内部的内存布局决策。理解这种依赖关系对于准确计算可用上下文窗口至关重要，一位开发者发现，由于交错的注意力层，像 Gemma-family 12B 这样的模型的标准元数据计算是不准确的，这证明了这一点。该开发者通过使用小上下文启动 llama.cpp 并解析其运行时日志来确定…
-
llama.cpp PR 通过向量化 F16-F32 转换提升提示处理速度
对 llama.cpp 项目的一个拉取请求（PR）引入了 Flash Attention V-Cache 的 F16 到 F32 的向量化转换。此优化利用了硬件 F16C 内在函数，显著提升了性能。具体来说，对于 qwen3:4b 等较小模型，提示处理速度提高了 17-31%。
-
LinkedIn 部署 CADET Transformer，广告点击率提升 11%
LinkedIn 开发并部署了 CADET，这是一种用于预测广告点击率 (CTR) 的仅解码器 Transformer 模型。该新模型显著优于其之前的 LiRank 基线，在 A/B 测试中实现了 11.04% 的点击率提升。CADET 包含多项创新，包括上下文条件解码架构、自门控注意力机制以及基于时间戳的位置嵌入，所有这些都为高效的工业规模部署而设计。
-
Attn-QAT 实现了 LLM 稳定的4位注意力训练
研究人员开发了 Attn-QAT，一种用于大型语言模型注意力机制的4位量化感知训练的新颖方法。该方法解决了 FP4 计算中低精度带来的挑战，特别是对于对动态范围限制敏感的注意力分数。Attn-QAT 通过匹配反向传播中的低精度重计算并解决梯度计算中隐含的精度假设，提高了训练稳定性，在没有显式异常值缓解的情况下达到了与更高精度相当的质量。
-
Krea2 用户在 ComfyUI 中讨论 Flash 和 Sage Attention 的性能
Reddit 用户正在讨论 Flash Attention 和 Sage Attention 在 Krea2 环境中的集成和性能，特别是在与 ComfyUI 结合使用时。虽然 Sage Attention 对某些用户来说似乎可用，但有报道称在某些情况下它会产生异常输出。
-
NumPy实现Flash Attention展示出显著的内存节省
本文详细介绍了如何从零开始使用NumPy实现Flash Attention。Flash Attention通过避免物化占用大量内存的大型N×N注意力分数矩阵来优化Transformer模型。通过将计算分块并放入快速片上SRAM中，它极大地减少了内存使用量，在8192个token的序列长度下实现了8128倍的节省。
-
研究基准测试LLM能效的注意力机制
一项新近发表在arXiv上的研究，对大型语言模型中使用的八种不同的自注意力机制进行了基准测试，重点关注它们在训练过程中的资源利用率。该研究训练了一个GPT-2架构，发现像Flash Attention、Locality-Sensitive Hashing (LSH) Attention和Multi-Head Latent Attention (MLA)这样的优化内核实现是最节能的。研究强调，仅仅减少GPU功耗不足以实现能效，因为训练时…
-
llama.cpp 通过性能优化增强了对 SYCL/Intel GPU 的支持
llama.cpp 项目发布了多项更新，增强了其对 SYCL 和 Intel GPU 的支持。这些更新包括对使用 XMX 引擎和 oneDNN 图形 API 的 Flash Attention 的优化，显著加快了 Qwen3.6-27b 等模型的推理速度。此外，这些更改还解决了 USM 系统分配的缓冲区大小最小值问题，并引入了对 OP XIELU 和 fp16 conv2d_dw 内核类型等新操作的支持。
-
Tessera系统为AI工作负载解锁异构GPU
一个名为Tessera的新系统已被开发出来，以提高在异构GPU集群上运行大型AI模型的性能和成本效益。与之前在粗粒度级别运行的方法不同，Tessera在内核级别分解工作负载，认识到不同的内核具有不同的资源需求。这种方法可以更精确地将计算与硬件能力对齐，从而在服务吞吐量和成本效益方面取得显著改进。Tessera还展示了对新模型架构的泛化能力，甚至可以在更低的成本下超越同构GPU设置。
-
新的监控器可在损失发散前检测到大语言模型训练不稳定性
研究人员开发了一种在大型语言模型（LLM）训练期间预先检测不稳定的新方法。该方法从关键模块派生内部监控器，在计算故障的早期计算特征出现之前识别它们，这些特征在显著影响损失或梯度范数之前就会出现。该技术在故障注入实验中取得了成功，在发散前数千步就触发了警报。
-
Flash Attention 机制详解：SRAM 中的分块注意力
本文深入探讨了 Flash Attention 的机制，这是一种旨在优化 AI 模型中自注意力机制的技术。文章解释了分块注意力（一种将注意力计算处理成更小块的方法）如何适配 SRAM（静态随机存取存储器）架构。该解释旨在阐明使注意力机制更高效的底层过程。
-
llama-bench 针对闪存注意力和 GPU 层数进行了默认值更正
最近为 llama-bench 工具发布的 b9437 版本更正了与闪存注意力和 GPU 层数相关的默认设置。此前，该工具即使在兼容硬件上也将闪存注意力硬编码为关闭，并为 GPU 层数使用了旧的哨兵值。此次更新现在将闪存注意力默认设置为在 सक्षम 硬件（CUDA、Metal、Vulkan）上自动激活，并将 GPU 层数设置为 -1，与其他 llama.cpp 工具（如 llama-server 和 llama-cli）保持一致。此…