multi-head attention
PulseAugur coverage of multi-head attention — every cluster mentioning multi-head attention across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
研究：更宽的头能提升语言模型长上下文检索能力
一篇新的研究论文探讨了语言模型中多头注意力机制的头维度对长上下文检索任务的影响。研究发现，虽然预训练损失和短上下文性能在很大程度上不受头维度的影响，但在模型尺寸固定的情况下，更宽的头可以显著提高长上下文检索性能。这表明，即使注意力投影权重被冻结，更宽的头也会分配更多参数用于检索，并能更有效地适应嵌入层和MLP等组件。
-
ELMDE系统将LLM决策延迟缩短至毫秒级
一个名为Equilibrium Latent-MoE Decision Engine (ELMDE) 的新系统已被开发出来，以显著加快语言模型中的决策过程。与传统的逐个token解码不同，ELMDE通过循环核心一次性处理上下文，达到一个不动点，然后进行决策投影。这种方法极大地降低了延迟，一个包含50个问题的批次大约需要14毫秒，而其他方法则需要数千毫秒。ELMDE还包含一个共形门控机制，用于识别不确定的决策，将其升级到更慢的模型或人工…
-
DeepSeek 发布用于数据中心的 DeepInfer 推理引擎
DeepSeek 已开源 DeepInfer，这是一款专为大规模、多 GPU 数据中心部署设计的推理引擎，而非用户友好的桌面应用程序。此次发布包括 DeepInfer 引擎本身，它通过异步流水线重叠和投机解码等功能进行了优化以提高效率；一个名为 SWA Bounded Replay 的缓存方案，用于降低预填充计算成本；以及 deepseek-recipe，一个用于协议规范化和分词的 Rust 组件。该基础设施旨在将数据中心硬件推向极限…
-
新理论解释大型模型中的低秩适应
一篇新论文探讨了低秩适应（LoRA）的理论基础，LoRA 是一种广泛用于高效微调大型预训练模型的技术。该研究提出了一种新颖的方法，通过关注损失观察适应权重矩阵的有限秩线性映射，从而绕开了现有神经切线核（NTK）分析的局限性。这种观点表明，迹范数正则化鼓励低秩矩阵，而瓶颈秩控制着更新的维度，而不是样本量。该论文还详细介绍了多头注意力机制的具体优化方法，并为全局最小化器和泛化界提供了理论保证。
-
大模型显存解析：量化模型为何仍会导致显存溢出
部署大型语言模型（LLM）时，即使模型的量化大小似乎能容纳，也常常会导致GPU出现意外的显存溢出错误。这是因为模型权重仅占总显存需求的很小一部分。罪魁祸首是KV缓存、激活缓冲区和运行时开销，它们加起来可能使内存占用翻倍甚至三倍。具体来说，一个量化到4位的70B参数模型，其权重可能在35-40GB左右，但拥有64K上下文窗口和2的批处理大小，仅KV缓存就可能推高到近40GB，导致需要80GB以上的显存。
-
新的稀疏注意力方法通过联合子空间稀疏注意力提高了LLM长上下文解码吞吐量
研究人员开发了联合子空间稀疏注意力（JSSA），这是一种提高长上下文语言模型解码效率的新方法。JSSA通过学习共享的低维查询-键子空间以获得更好的排序，并实现无收集操作（gather-free）的内核以高效检索令牌，从而解决了令牌级选择的挑战。该方法在保持与全KV注意力相当的准确性的同时，显著提高了解码吞吐量，在128K上下文的NVIDIA B200 GPU上实现了高达6.43倍的提升。
-
新的DAMCHA注意力机制提升Transformer性能
研究人员推出了一种新颖的注意力机制——自适应马氏距离跨头注意力（DAMCHA），旨在增强Transformer架构。DAMCHA通过学习一个完整的跨头度量矩阵来泛化标准的Multi-Head Attention，该矩阵比通常使用的静态、逐头欧氏相似度更能有效地捕捉头之间的交互。这种新方法允许注意力几何动态地适应数据的流形结构。DAMCHA被提出作为现有注意力机制的即插即用替代品，在计算成本相当或更低的情况下，在各种基准任务上展示了改进的性能。
-
新的拓扑注意力增强图神经网络
研究人员引入了拓扑注意力（Top-A），一种新颖的多头注意力机制，通过允许跨头通信来增强图神经网络。这种方法超越了标准的对角注意力，使得在邻域聚合之前，各头能够进行交互和信息交换。Top-A 在需要关系推理、异构图学习和算法推理的任务中，尤其是在分布外泛化场景中，已证明了其有效性。研究结果表明，这种边条件跨头通信是神经网络中矩阵值传输的宝贵计算原语。
-
新研究探索具有刚体力学和权重分析的 Transformer 架构 · 跟踪 5 个来源
研究人员正在探索通过整合刚体力学和分析权重结构来增强 Transformer 架构的新方法。一篇论文介绍了“Screw Attention”，这是一种 Transformer 层，它使用刚体代数对物体之间的空间关系进行建模，在操作任务和几何变化鲁棒性方面表现出改进的性能。另一项研究“JET: Justification Evaluation in Transformer”专注于提高 Transformer 在 MMLU 等任务中的决策…
-
新方法提高点云Transformer的效率
研究人员推出了一种名为位置锚点调优（Position Anchor Tuning, PAT）的新型参数高效微调方法，旨在提高预训练点云Transformer的推理效率。PAT通过使用令牌聚合和扩展模块来解决多头注意力和前馈网络块中的计算成本。这些模块提取代表性令牌进行处理，从而降低计算负载，然后将学习到的表示传播回原始令牌。该方法还结合了基础共享低秩适配（BSLoRA），以通过最少的训练参数实现任务特定表示的有效学习。
-
GigaChat 3.5 推理基准测试声明因误导性效率指标而受到质疑
对人工智能基准测试表的一项最新分析强调了性能声明呈现方式的差异，并以 GigaChat 3.5 Reasoning 模型和 DeepSeek V4 Flash Preview 为例。虽然 GigaChat 公布的基准测试数字是准确的，但其声称在使用少 37% 的 token 的情况下“媲美”DeepSeek V4 Flash 是具有误导性的。文章指出，GigaChat 在某些评估中获胜，但在其他评估中却显著落败，并且效率指标是基于一套…
-
多头注意力机制：现代大语言模型的核心
多头注意力机制是Transformer架构中的一项关键创新，它使现代大语言模型（LLMs）能够并行处理序列并理解长距离依赖关系。与之前的RNN和CNN等方法不同，它允许模型通过多个注意力头同时关注输入的不同部分，每个注意力头都能学习到数据中不同的视角。这种基于缩放点积注意力（Scaled Dot-Product Attention）的机制显著提高了在GPU上的训练效率，并增强了模型理解复杂语言细微差别以完成机器翻译等任务的能力。
-
研究质疑关系嵌入在 LLM 中的有效性
一篇新研究论文探讨了通过将关系编码器嵌入作为软 token 注入 Qwen3.5-4B 来将其集成到大型语言模型 (LLM) 中。研究发现，这种混合方法并未持续优于独立的关系 Transformer，通常表现不佳并在训练期间显示出不稳定性。研究人员建议，要在 LLM 中成功进行软 token 融合以完成关系预测任务，需要更强大的对齐目标和模式感知设计。
-
面向大型MoE模型的计算高效超参数迁移
研究人员开发了一个计算高效的框架，用于确定大型混合专家（MoE）模型中的最优学习率。这个两步过程包括在不同宽度的模型之间迁移最优学习率，然后推断到海量token预算。通过在小型代理模型上进行线性回归，该方法可以准确预测长达10万亿token的训练视野的理想学习率，显著降低了计算成本。该框架成功应用于预训练一个1550亿参数的基础模型，验证了其有效性。
-
新的非对称注意力头框架优化Transformer上下文分配
研究人员开发了一个名为非对称注意力头（AAH）的新框架，旨在优化Transformer模型内的上下文分配。与所有注意力头接收相同上下文的标准多头注意力不同，AAH允许每个注意力头或一组注意力头具有可变的上下文长度。这种方法旨在通过让一些注意力头专注于局部上下文，而另一些注意力头处理长距离依赖关系来提高效率和性能。在4096个token设置下使用AAH进行的初步实验显示出有希望的结果，某些变体相比全注意力实现了更低的验证损失。
-
新框架高效预测大型MoE模型最优学习率
研究人员开发了一种新颖的两步框架，可高效确定大型混合专家（MoE）模型的最优学习率。该方法利用不同模型宽度之间的超参数迁移，并将研究结果外推到海量token预算，显著降低了传统超参数搜索的计算成本。该框架采用了最大更新参数化（Maximal Update Parameterization）的适配和Muon优化器，并成功应用于预训练一个155B参数的基础模型，证明了其在预测大规模MoE训练最优配置方面的有效性。
-
新的机器学习模型通过先进的插补技术改进岩土强度预测
研究人员开发了用于预测岩土工程中不排水抗剪强度的新概率间接模型，解决了显著的数据缺失和变异性挑战。该研究使用了CLAY/10/7490全球数据库，并测试了三种插补方法：多元正态（MN）、链式方程多重插补（MICE）和随机森林插补（miss forest, MF）。采用了概率极端梯度提升（PXGB）模型来评估插补效果。此外，还将多头注意力（MHA）机制集成到人工神经网络（ANN）中，创建了基于MHA的概率神经网络（MHA-PNN），与传…
-
理解 Transformer：从分词到自注意力机制
本文剖析了 Transformer 模型背后的核心概念，重点介绍了它们如何处理语言。文章解释了分词（tokenization），即将文本分割成更小的片段，以及分词 ID（token IDs），即这些片段的数值表示。该过程继续介绍嵌入（embeddings），将分词转换为捕获它们之间关系的向量，以及位置编码（positional encoding），它为序列中分词的位置添加信息。最后，文章深入探讨了自注意力机制（self-attenti…
-
KV 缓存成为 LLM 瓶颈，推动注意力变体创新
KV 缓存是 LLM 自回归解码的关键组成部分，被确定为 2026 年前沿模型的主要瓶颈。其大小随上下文长度和批处理大小线性增长，使其成为比模型权重更主要的内存消耗者。缓解此瓶颈的技术包括减少 KV 头（MQA、GQA）、使用潜在表示压缩缓存（MLA）以及通过线性注意力或状态空间模型（SSMs）完全消除不断增长的缓存。2026 年的主流方法是混合模型，它将全注意力层与线性/SSM 层交织在一起，以平衡质量和内存效率。
-
Motif Technologies 发布 314B 参数的 Motif 3 LLM
Motif Technologies 发布了 Motif 3，这是一款拥有 3140 亿总参数和每个 token 激活 132 亿参数的 decoder-only 混合专家（Mixture-of-Experts）语言模型。该模型采用了新颖的 Grouped Differential Latent Attention 架构，并在约 12.5 万亿个 token 上进行了训练。Motif 3 在与领先的开源模型相比时，表现出具有竞争力的性…