Grouped Query Attention
PulseAugur coverage of Grouped Query Attention — every cluster mentioning Grouped Query Attention across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
大语言模型预填充/解码拆分网络成本常被忽视
一项技术分析强调,将大语言模型(LLM)的预填充和解码操作拆分到不同的 GPU 池上会产生一个关键但常被忽视的网络成本。虽然将这些任务分开可以防止长提示阻塞其他进程从而提高性能,但 KV 缓存跨池的数据传输会引入显著的网络延迟。这种传输时间取决于缓存大小和网络速度,可能会抵消性能提升,尤其是在长上下文的情况下。作者强调,在实施这种架构拆分之前,需要计算此网络成本,并考虑 KV 头数和缓存压缩等因素。
-
KV 缓存翻译可实现无缝模型交接,无需重新读取上下文
研究人员开发了一种名为 KV 缓存翻译的方法,使一个语言模型能够无缝地从另一个模型接管对话,而无需重新读取整个历史记录。该技术将源模型的缓存映射到目标模型的格式,从而保留上下文并提高效率。该研究展示了在各种模型架构和规模(包括 MLA 潜在表示、线性注意力状态和稀疏注意力索引器)上成功的 KV 缓存翻译,达到了原生质量,并显著缩短了长上下文的首次令牌生成时间。
-
LLM中的多查询注意力与分组查询注意力详解
本文深入探讨了大型语言模型(LLMs)中多查询注意力(MQA)和分组查询注意力(GQA)之间的技术区别。旨在阐明采用每种注意力机制以提升LLM性能的最佳场景。
-
新研究优化 Transformer KV 缓存和表示探查
研究人员开发了一种新的 KVPath 方法来表示 Transformer 层中的键值对,显著降低了存储需求。该方法跨层连接 KV 表示,使用低维增量更新之前的 KV,从而将 KV 缓存存储减少高达 68%,同时保持或提高模型性能。另一项研究通过联合分析层和模块来探索 Transformer 表示,发现通过同时考虑这两个方面而不是仅仅关注深度,可以实现最佳的探查特征。这项研究涉及超过 144,000 次线性探查评估,并确定了可以从最佳层…
-
Qwen2模型通过Metal后端优化性能提升15倍
一位开发者通过实现一个融合的Scaled Dot-Product Attention (sdpa) 内核,优化了Qwen2模型在Apple Metal后端上的性能。这项优化显著加速了单token的Metal解码步骤,使得更大的Qwen2.5模型的每层性能提升高达15.2倍。增强的后端通过直接索引KV头,避免了物化K和V张量的扩展副本,从而减少了内存带宽瓶颈,并带来了约28%的端到端生成吞吐量提升。
-
本地大语言模型内存需求:权重、KV缓存和可用内存详解
估算本地大语言模型所需的内存包括计算模型权重、KV缓存和开销的总和,然后将其与设备上可用的内存进行比较。量化显著影响权重大小,Q4_K_M等格式比FP16需要更少的内存。KV缓存对于生成文本至关重要,它随上下文长度线性增长,这意味着在4K上下文下能运行的模型在32K下可能无法运行。可用内存因硬件而异,Apple Silicon的统一内存需要一部分用于操作系统,而独立GPU的显存是严格的限制。最终,模型需要低于可用内存的80%才能可靠运…
-
KV缓存,而非权重,限制了LLM服务器的用户容量
KV缓存,而不是模型权重,是决定LLM服务器支持多少用户的主要因素。虽然LLaMA-2 7B模型的模型权重占用13.5 GB,但一个4096个token序列的KV缓存可能消耗0.5 MiB,并且随着上下文长度和用户数量的增加而迅速增加。多查询注意力、分组查询注意力、缓存量化、滑动窗口和PagedAttention等技术被用来减少KV缓存的内存占用,从而提高服务器吞吐量。
-
LLM 中的多查询与分组查询注意力机制详解
本文深入探讨了大型语言模型 (LLM) 中多查询注意力 (MQA) 和分组查询注意力 (GQA) 的技术区别。旨在阐明采用每种注意力机制以提升 LLM 性能的最佳场景。
-
开发者从零开始构建LLM,以揭开Transformer的神秘面纱
两位开发者分享了他们从零开始构建小型大型语言模型(LLM)的经验,以理解其底层组件。他们详细介绍了将文本转换为数字标记的过程、嵌入(embeddings)的作用以及Transformer架构的机制,包括注意力机制(attention mechanisms)、查询/键/值(Query/Key/Value)交互以及前馈网络(feed-forward networks)。这些博文还涉及了RMSNorm等归一化技术和RoPE等位置编码方法,强…
-
大模型显存解析:量化模型为何仍会导致显存溢出
部署大型语言模型(LLM)时,即使模型的量化大小似乎能容纳,也常常会导致GPU出现意外的显存溢出错误。这是因为模型权重仅占总显存需求的很小一部分。罪魁祸首是KV缓存、激活缓冲区和运行时开销,它们加起来可能使内存占用翻倍甚至三倍。具体来说,一个量化到4位的70B参数模型,其权重可能在35-40GB左右,但拥有64K上下文窗口和2的批处理大小,仅KV缓存就可能推高到近40GB,导致需要80GB以上的显存。
-
DeltaLLM框架通过新颖的注意力优化加速边缘LLM
研究人员开发了DeltaLLM,一个旨在加速大型语言模型(LLM)在边缘设备上性能的新框架。这种无需训练的方法专注于优化注意力机制,这是LLM的一个主要瓶颈,尤其是在处理长提示时。DeltaLLM采用了新颖的K-only delta注意力公式和向量化稀疏softmax来提高效率,在精度损失极小的情况下实现了显著的稀疏性。在特定模型和硬件上的评估表明,其速度显著提升且资源消耗降低,使其适合高效的边缘LLM部署。
-
Kronecker Product Attention 为 LLM 提供 10 倍 KV 缓存压缩
研究人员推出了一种新方法 Kronecker Product Attention (KPA),用于压缩自回归模型的键值 (KV) 缓存。KPA 使用紧凑矩阵因子的 Kronecker 积之和来表示 KV 激活,这严格地推广了现有的技术,如 Tensor Product Attention。该方法旨在减少限制高效生成的内存占用,同时不牺牲模型的表达能力或需要复杂的 positional encoding 机制。经验表明,KPA 在各种模…
-
EntroPrefill:RAG系统的新上下文剪枝方法
研究人员推出了一种用于检索增强生成(RAG)系统的新型上下文剪枝方法EntroPrefill。该方法使用Renyi引导的提案和注意力质量的显式约束,以确保被丢弃的上下文确实是可有可无的。该方法包括一个可计算的token移除上限和一个条件Transformer扰动界限,为剪枝设定了理论极限,但未报告实证结果。
-
TokenPrint:开源3D调试器可视化LLM计算
TokenPrint是一款新的开源3D可视化和调试工具,旨在使Transformer和LLM模型内部的计算更易于探索。该工具由Sudharsanselvaraj开发,允许用户逐层跟踪模型中的token,检查嵌入、注意力分数和投影等元素。它旨在提供对模型如何处理信息的更清晰理解,超越静态图表,提供计算过程的交互式空间表示。
-
新的分组值注意力方法大幅缩减 Transformer KV 缓存大小
研究人员推出了一种新颖的方法——分组值注意力(GVA),以减小 Transformer 模型中 KV 缓存的内存占用。GVA 存储分组值,并使用学习到的线性映射来重建键,该键可以在推理过程中集成到查询中。该方法旨在将性能保持在接近分组查询注意力(GQA)的水平,同时显著减小缓存大小,据报道,持久缓存标量减少了 45-47%。该方法以更紧凑的缓存表示实现了接近 GQA 的基准准确性,并且正在开发自定义解码内核以实现更快的推理。
-
分组查询注意力通过减少KV缓存瓶颈优化LLM推理
分组查询注意力(GQA)是一种通过减少由KV缓存引起内存瓶颈来显著提高大型语言模型推理效率的技术。与使用每个查询头独立的KV头的传统多头注意力(MHA)或跨所有查询头共享单个KV头的多查询注意力(MQA)不同,GQA取得了平衡。它将查询头分组,并在这些组之间共享KV头,从而大大减小了缓存大小和内存带宽需求,而模型质量没有明显损失。这种方法,特别是使用8个KV头,已被Llama和Mistral等模型采用,以使长上下文LLM更加实用。
-
Moonshot AI 发布 Kimi-K3 模型,优化长上下文处理
Moonshot AI 已在 Hugging Face 上发布 Kimi-K3 模型权重,该模型采用了针对长上下文推理的架构优化。模型采用了修改后的 Transformer 架构,结合了 Grouped Query Attention (GQA) 和类似 vLLM 的分页注意力技术,以高效管理其 KV 缓存,支持长达一百万个 token 的序列。关键配置包括用于位置嵌入稳定性的高 `rope_theta` 值,以及为生产部署而设计的抗…
-
新型轻量级Transformer实现遥感图像变化字幕的实时生成
研究人员开发了LBTCap,一个专为实时遥感图像变化字幕生成设计的新框架。该系统利用一种轻量级的双边Transformer架构,能够高效处理成对遥感图像的预变化和后变化特征。关键创新包括一种新颖的双边注意力机制和分组查询注意力,使得该模型相比现有最先进方法拥有显著更少的参数和更高的推理速度,适用于城市规划和灾害响应等领域的实际实时应用。
-
新论文发现稀疏性机制可改善LLM深度利用
一篇新的arXiv论文研究了稀疏性如何缓解大型语言模型(LLMs)中“深度的诅咒”。研究人员发现,隐式稀疏性(来自权重衰减等训练条件)和显式稀疏性(来自分组查询注意力或混合专家等架构选择)都有助于减少方差传播。这能更好地利用更深的层,并在下游任务上带来显著的4.6准确率提升,表明稀疏性是LLM有效深度扩展的关键因素。该研究提供了一个训练深度有效模型的实用方法,并附带GitHub上的代码。
-
开源AI中Transformer注意力机制的演进
自诞生以来,Transformer架构的注意力机制经历了显著的演进,众多创新为更高效、更强大的大型语言模型做出了贡献。FlashAttention、多查询注意力(MQA)、分组查询注意力(GQA)和滑动窗口注意力(SWA)等创新极大地降低了内存需求并提高了推理性能。最新的进展,包括门控Delta网络(GDNs)等线性注意力变体和原生稀疏注意力(DSA)等稀疏注意力方法,正在进一步拓展边界,许多开源模型都采用了这些技术。