Flash Attention
PulseAugur coverage of Flash Attention — every cluster mentioning Flash Attention across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
llama.cpp V cache quantization 需要 flash_attn，影响上下文窗口计算
llama.cpp 项目有一个配置要求，即“V cache quantization”（V 缓存量化）需要使用“flash_attn”。这种联系通常被忽视，源于系统内部的内存布局决策。理解这种依赖关系对于准确计算可用上下文窗口至关重要，一位开发者发现，由于交错的注意力层，像 Gemma-family 12B 这样的模型的标准元数据计算是不准确的，这证明了这一点。该开发者通过使用小上下文启动 llama.cpp 并解析其运行时日志来确定…
-
llama.cpp PR 通过向量化 F16-F32 转换提升提示处理速度
对 llama.cpp 项目的一个拉取请求（PR）引入了 Flash Attention V-Cache 的 F16 到 F32 的向量化转换。此优化利用了硬件 F16C 内在函数，显著提升了性能。具体来说，对于 qwen3:4b 等较小模型，提示处理速度提高了 17-31%。
-
LinkedIn 部署 CADET Transformer，广告点击率提升 11%
LinkedIn 开发并部署了 CADET，这是一种用于预测广告点击率 (CTR) 的仅解码器 Transformer 模型。该新模型显著优于其之前的 LiRank 基线，在 A/B 测试中实现了 11.04% 的点击率提升。CADET 包含多项创新，包括上下文条件解码架构、自门控注意力机制以及基于时间戳的位置嵌入，所有这些都为高效的工业规模部署而设计。
-
Attn-QAT 实现了 LLM 稳定的4位注意力训练
研究人员开发了 Attn-QAT，一种用于大型语言模型注意力机制的4位量化感知训练的新颖方法。该方法解决了 FP4 计算中低精度带来的挑战，特别是对于对动态范围限制敏感的注意力分数。Attn-QAT 通过匹配反向传播中的低精度重计算并解决梯度计算中隐含的精度假设，提高了训练稳定性，在没有显式异常值缓解的情况下达到了与更高精度相当的质量。
-
Krea2 用户在 ComfyUI 中讨论 Flash 和 Sage Attention 的性能
Reddit 用户正在讨论 Flash Attention 和 Sage Attention 在 Krea2 环境中的集成和性能，特别是在与 ComfyUI 结合使用时。虽然 Sage Attention 对某些用户来说似乎可用，但有报道称在某些情况下它会产生异常输出。
-
NumPy实现Flash Attention展示出显著的内存节省
本文详细介绍了如何从零开始使用NumPy实现Flash Attention。Flash Attention通过避免物化占用大量内存的大型N×N注意力分数矩阵来优化Transformer模型。通过将计算分块并放入快速片上SRAM中，它极大地减少了内存使用量，在8192个token的序列长度下实现了8128倍的节省。
-
研究基准测试LLM能效的注意力机制
一项新近发表在arXiv上的研究，对大型语言模型中使用的八种不同的自注意力机制进行了基准测试，重点关注它们在训练过程中的资源利用率。该研究训练了一个GPT-2架构，发现像Flash Attention、Locality-Sensitive Hashing (LSH) Attention和Multi-Head Latent Attention (MLA)这样的优化内核实现是最节能的。研究强调，仅仅减少GPU功耗不足以实现能效，因为训练时…
-
llama.cpp 通过性能优化增强了对 SYCL/Intel GPU 的支持
llama.cpp 项目发布了多项更新，增强了其对 SYCL 和 Intel GPU 的支持。这些更新包括对使用 XMX 引擎和 oneDNN 图形 API 的 Flash Attention 的优化，显著加快了 Qwen3.6-27b 等模型的推理速度。此外，这些更改还解决了 USM 系统分配的缓冲区大小最小值问题，并引入了对 OP XIELU 和 fp16 conv2d_dw 内核类型等新操作的支持。
-
Tessera系统为AI工作负载解锁异构GPU
一个名为Tessera的新系统已被开发出来，以提高在异构GPU集群上运行大型AI模型的性能和成本效益。与之前在粗粒度级别运行的方法不同，Tessera在内核级别分解工作负载，认识到不同的内核具有不同的资源需求。这种方法可以更精确地将计算与硬件能力对齐，从而在服务吞吐量和成本效益方面取得显著改进。Tessera还展示了对新模型架构的泛化能力，甚至可以在更低的成本下超越同构GPU设置。
-
新的监控器可在损失发散前检测到大语言模型训练不稳定性
研究人员开发了一种在大型语言模型（LLM）训练期间预先检测不稳定的新方法。该方法从关键模块派生内部监控器，在计算故障的早期计算特征出现之前识别它们，这些特征在显著影响损失或梯度范数之前就会出现。该技术在故障注入实验中取得了成功，在发散前数千步就触发了警报。
-
Flash Attention 机制详解：SRAM 中的分块注意力
本文深入探讨了 Flash Attention 的机制，这是一种旨在优化 AI 模型中自注意力机制的技术。文章解释了分块注意力（一种将注意力计算处理成更小块的方法）如何适配 SRAM（静态随机存取存储器）架构。该解释旨在阐明使注意力机制更高效的底层过程。
-
llama-bench 针对闪存注意力和 GPU 层数进行了默认值更正
最近为 llama-bench 工具发布的 b9437 版本更正了与闪存注意力和 GPU 层数相关的默认设置。此前，该工具即使在兼容硬件上也将闪存注意力硬编码为关闭，并为 GPU 层数使用了旧的哨兵值。此次更新现在将闪存注意力默认设置为在 सक्षम 硬件（CUDA、Metal、Vulkan）上自动激活，并将 GPU 层数设置为 -1，与其他 llama.cpp 工具（如 llama-server 和 llama-cli）保持一致。此…
-
Flash Attention低精度训练不稳定的解释
一篇新论文分析了使用低精度格式和Flash Attention训练Transformer模型为何会导致训练不稳定和损失爆炸。研究确定了两个关键因素：注意力机制中出现相似的低秩表示，以及低精度算术中累积的偏置舍入误差的复合效应。这些现象会产生一个错误累积的循环，从而破坏权重更新。作者提出对Flash Attention进行微小修改，以减轻舍入偏差，从而稳定训练并证实了他们的分析。
-
新研究探索用于大型语言模型的混合和稀疏注意力机制
研究人员正在探索优化大型语言模型中注意力机制的新方法，特别是用于处理长上下文。例如，HydraHead架构沿头轴混合了全注意力（FA）和线性注意力（LA），识别关键的FA头并协调分布差异。另外，StreamKL提供了一种快速且内存高效的方法来计算注意力蒸馏的Kullback-Leibler散度，减少了HBM占用空间，并支持在单个GPU上进行长上下文蒸馏。其他研究包括基于域分解的分层注意力和距离自适应表示，后者为远距离标记分配较低的维度…
-
Ideogram 4：Sage Attention 与 Flash Attention 图像质量对比
对 Ideogram 使用 Sage Attention 与 Flash Attention 生成图像质量的比较显示，在各种提示复杂性方面存在细微差异。虽然两种方法都能生成高分辨率图像，但在使用 Sage Attention 与 Flash Attention 时，一位女性法国击剑运动员的剑柄手部细节上观察到了细微变化。用户展示了简单跑车提示、内衣写真和历史服装场景的示例来说明这些细微的区别。
-
LLM 服务延迟源于系统队列，而非计算
本文讨论了如何优化大型语言模型 (LLM) 的服务性能，强调延迟问题通常是由系统瓶颈而非模型计算引起的。文章指出，队列、邻居干扰、长提示词和慢速客户端是导致 P95 和 P99 延迟偏高的主要原因。作者强调了测量诸如首个 token 时间和队列等待时间等特定指标的重要性，并建议按流量通道对这些指标进行细分，以有效解决用户感知的缓慢问题。
-
llama.cpp RDNA3: Flash Attention 削减 K 显存占用（使用打包的 8 位 K）
一种适用于 RDNA3 GPU 上的 llama.cpp 的新方法，通过将 K 值打包成 8 位整数，然后由 GPU 的原生 `sudot4` 指令处理，显著减少了 KV 缓存的 VRAM 使用量。这种方法在 128k 上下文时可节省约 1.42 GiB 的 VRAM，可能允许更大的上下文适应可用内存。质量指标，包括 Kullback-Leibler 散度和困惑度，与标准的 FP16 K 值相比，仅有微小的下降，表明性能几乎无损。
-
llama.cpp 发布增加 Vulkan 支持，优化矩阵运算，并改进服务器日志记录
llama.cpp 项目发布了多项更新，包括 b9580 版本，该版本增加了对矩阵-矩阵乘法和 Flash Attention 的 Vulkan 支持，并对 FP16 dot2 扩展进行了优化。其他近期版本，如 b9578 和 b9577，分别对视频子进程处理和服务器提示日志记录进行了重构。这些更新提供了适用于 macOS、Linux、Android 和 Windows 等各种平台的预编译二进制文件，并支持 CUDA、ROCm 和 V…
-
2026年七款小型编码AI模型提供本地开发能力
文章重点介绍了七款适合本地开发的小型编码AI模型，强调了它们的效率和隐私优势。这些模型，包括OpenAI的gpt-oss-20b和Microsoft的Phi-3.5-mini-instruct，专为在消费级硬件上运行而设计，并在编码任务中可与大型闭源模型相媲美。该列表还包括了具有视觉能力的Qwen3-VL-32B-Instruct，具有推理能力的Apriel-1.5-15b-Thinker，以及性能出色的ByteDance的Seed-…