Scaled Dot-Product Attention
PulseAugur coverage of Scaled Dot-Product Attention — every cluster mentioning Scaled Dot-Product Attention across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Qwen2模型通过Metal后端优化性能提升15倍
一位开发者通过实现一个融合的Scaled Dot-Product Attention (sdpa) 内核,优化了Qwen2模型在Apple Metal后端上的性能。这项优化显著加速了单token的Metal解码步骤,使得更大的Qwen2.5模型的每层性能提升高达15.2倍。增强的后端通过直接索引KV头,避免了物化K和V张量的扩展副本,从而减少了内存带宽瓶颈,并带来了约28%的端到端生成吞吐量提升。
-
Hugging Face 推出 Model Integration Contracts 以加速 transformer 测试
Hugging Face 推出了 Model Integration Contracts (MICs),以改进其超过 750 个 transformer 模型庞大库的测试。这些合同涉及创建模型的小型、fixture 版本,以便在性能较低的硬件上运行更快的集成测试,在回归错误合并到主代码库之前将其捕获。最近的一个例子强调了一个小型 UMT5 fixture 如何检测到与 PyTorch 的 Scaled Dot-Product Atte…
-
新研究探讨μ子优化器的几何、性能和局限性 · 已追踪4个来源
四篇最新的arXiv论文探讨了优化算法μ子,研究了其理论基础和实际性能。第一篇论文深入研究了μ子的几何特性,引入了随机半径各向同性曲率模型(RR-ICM)来解释其稳定性,并推导了最小-最大变分表征。第二篇论文提供了一个基准,将μ子与AdamW在各种模型大小和预算下进行了比较,发现μ子减小了损失区域,但在某些条件下可能速度较慢且具有更高的遗憾。第三篇论文提出使用希尔伯特距离作为一种统一的方法来驯服μ子的Softmax行为,并将其与Row…
-
多头注意力机制:现代大语言模型的核心
多头注意力机制是Transformer架构中的一项关键创新,它使现代大语言模型(LLMs)能够并行处理序列并理解长距离依赖关系。与之前的RNN和CNN等方法不同,它允许模型通过多个注意力头同时关注输入的不同部分,每个注意力头都能学习到数据中不同的视角。这种基于缩放点积注意力(Scaled Dot-Product Attention)的机制显著提高了在GPU上的训练效率,并增强了模型理解复杂语言细微差别以完成机器翻译等任务的能力。
-
SSOG-Attention 提供可扩展的SDPA替代方案,降低了复杂性
研究人员开发了SSOG-Attention,这是一种新颖的方法,提供了标准缩放点积注意力(SDPA)的次二次方且可扩展的替代方案。通过学习高斯原子并基于查询令牌对其进行几何引导,SSOG-Attention将计算复杂度从O(N²·d)降低到O(N·√N·d)。实验表明,SSOG-Attention在CIFAR-100等较小数据集上优于SDPA,并在ImageNet-1K等较大数据集上以更快的收敛速度达到同等性能,同时在规模化时也更节省内存。
-
新的幂律图注意力通过学习算子泛化SDPA
研究人员引入了一种名为幂律图注意力(PLGA)的新型注意力机制,它通过使用学习到的、由输入生成的双线性算子来泛化缩放点积注意力(SDPA)。这种新架构在论文中进行了详细介绍,并与参考版本进行了验证,它用应用于正张量的逐元素幂律取代了固定形式。这项工作包括了推理崩溃定理和测量不变性,表明精确的输入不变性可以导致具有常数算子的广义SDPA。部分核心组件的证明已使用Lean 4编程语言进行了机器检查。