Flash Attention
PulseAugur coverage of Flash Attention — every cluster mentioning Flash Attention across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的监控器可在损失发散前检测到大语言模型训练不稳定性
研究人员开发了一种在大型语言模型（LLM）训练期间预先检测不稳定的新方法。该方法从关键模块派生内部监控器，在计算故障的早期计算特征出现之前识别它们，这些特征在显著影响损失或梯度范数之前就会出现。该技术在故障注入实验中取得了成功，在发散前数千步就触发了警报。
-
Flash Attention 机制详解：SRAM 中的分块注意力
本文深入探讨了 Flash Attention 的机制，这是一种旨在优化 AI 模型中自注意力机制的技术。文章解释了分块注意力（一种将注意力计算处理成更小块的方法）如何适配 SRAM（静态随机存取存储器）架构。该解释旨在阐明使注意力机制更高效的底层过程。
-
llama-bench 针对闪存注意力和 GPU 层数进行了默认值更正
最近为 llama-bench 工具发布的 b9437 版本更正了与闪存注意力和 GPU 层数相关的默认设置。此前，该工具即使在兼容硬件上也将闪存注意力硬编码为关闭，并为 GPU 层数使用了旧的哨兵值。此次更新现在将闪存注意力默认设置为在 सक्षम 硬件（CUDA、Metal、Vulkan）上自动激活，并将 GPU 层数设置为 -1，与其他 llama.cpp 工具（如 llama-server 和 llama-cli）保持一致。此…
-
Flash Attention低精度训练不稳定的解释
一篇新论文分析了使用低精度格式和Flash Attention训练Transformer模型为何会导致训练不稳定和损失爆炸。研究确定了两个关键因素：注意力机制中出现相似的低秩表示，以及低精度算术中累积的偏置舍入误差的复合效应。这些现象会产生一个错误累积的循环，从而破坏权重更新。作者提出对Flash Attention进行微小修改，以减轻舍入偏差，从而稳定训练并证实了他们的分析。
-
新研究探索用于大型语言模型的混合和稀疏注意力机制
研究人员正在探索优化大型语言模型中注意力机制的新方法，特别是用于处理长上下文。例如，HydraHead架构沿头轴混合了全注意力（FA）和线性注意力（LA），识别关键的FA头并协调分布差异。另外，StreamKL提供了一种快速且内存高效的方法来计算注意力蒸馏的Kullback-Leibler散度，减少了HBM占用空间，并支持在单个GPU上进行长上下文蒸馏。其他研究包括基于域分解的分层注意力和距离自适应表示，后者为远距离标记分配较低的维度…
-
Ideogram 4：Sage Attention 与 Flash Attention 图像质量对比
对 Ideogram 使用 Sage Attention 与 Flash Attention 生成图像质量的比较显示，在各种提示复杂性方面存在细微差异。虽然两种方法都能生成高分辨率图像，但在使用 Sage Attention 与 Flash Attention 时，一位女性法国击剑运动员的剑柄手部细节上观察到了细微变化。用户展示了简单跑车提示、内衣写真和历史服装场景的示例来说明这些细微的区别。
-
LLM 服务延迟源于系统队列，而非计算
本文讨论了如何优化大型语言模型 (LLM) 的服务性能，强调延迟问题通常是由系统瓶颈而非模型计算引起的。文章指出，队列、邻居干扰、长提示词和慢速客户端是导致 P95 和 P99 延迟偏高的主要原因。作者强调了测量诸如首个 token 时间和队列等待时间等特定指标的重要性，并建议按流量通道对这些指标进行细分，以有效解决用户感知的缓慢问题。
-
llama.cpp RDNA3: Flash Attention 削减 K 显存占用（使用打包的 8 位 K）
一种适用于 RDNA3 GPU 上的 llama.cpp 的新方法，通过将 K 值打包成 8 位整数，然后由 GPU 的原生 `sudot4` 指令处理，显著减少了 KV 缓存的 VRAM 使用量。这种方法在 128k 上下文时可节省约 1.42 GiB 的 VRAM，可能允许更大的上下文适应可用内存。质量指标，包括 Kullback-Leibler 散度和困惑度，与标准的 FP16 K 值相比，仅有微小的下降，表明性能几乎无损。
-
llama.cpp 发布增加 Vulkan 支持，优化矩阵运算，并改进服务器日志记录
llama.cpp 项目发布了多项更新，包括 b9580 版本，该版本增加了对矩阵-矩阵乘法和 Flash Attention 的 Vulkan 支持，并对 FP16 dot2 扩展进行了优化。其他近期版本，如 b9578 和 b9577，分别对视频子进程处理和服务器提示日志记录进行了重构。这些更新提供了适用于 macOS、Linux、Android 和 Windows 等各种平台的预编译二进制文件，并支持 CUDA、ROCm 和 V…
-
2026年七款小型编码AI模型提供本地开发能力
文章重点介绍了七款适合本地开发的小型编码AI模型，强调了它们的效率和隐私优势。这些模型，包括OpenAI的gpt-oss-20b和Microsoft的Phi-3.5-mini-instruct，专为在消费级硬件上运行而设计，并在编码任务中可与大型闭源模型相媲美。该列表还包括了具有视觉能力的Qwen3-VL-32B-Instruct，具有推理能力的Apriel-1.5-15b-Thinker，以及性能出色的ByteDance的Seed-…