Gated DeltaNet
PulseAugur coverage of Gated DeltaNet — every cluster mentioning Gated DeltaNet across labs, papers, and developer communities, ranked by signal.
11 天有情绪数据
-
新的“onóna”技术通过权重共享增强语言模型的表现力
研究人员推出了一种名为“onóna”的新型语言模型参数化技术,该技术在保持输入-输出权重共享的同时,增强了输出的表现力。该方法利用两个嵌入表和一个门控输出头,能够增加词汇投影,并提高各种模型架构和规模下的性能。评估表明,与具有匹配令牌预算的标准模型相比,onóna 持续降低了验证损失和困惑度,同时提高了下游任务的准确性。
-
阿里巴巴推出 2.4T 参数的 Qwen4-Max,成本降低 62%
阿里巴巴集团发布了 Qwen4-Max,这是一款新的 2.4 万亿参数稀疏专家混合模型。该模型具有原生视觉能力和一个一百万 token 的上下文窗口。一个关键亮点是其运营成本的降低,与前代 Qwen3.8-Max 相比,在 Work360 基准测试上的平均任务成本下降了 62%。该架构采用了 Qwen Sparse Attention 和 N-gram Embedding 来提高效率和长上下文处理能力,使其适用于跨多个领域的复杂、多步骤专业任务。
-
SinkState通过低秩状态压缩优化混合LLM服务
研究人员开发了SinkState,一种通过有效管理循环状态来优化混合大型语言模型(LLM)服务的新颖方法。该技术利用了这些状态通常具有低秩结构的观察结果,这意味着存储的许多信息是冗余的。SinkState采用动态奇异值分解(SVD)以自适应低秩形式存储状态,从而减少内存使用并加快解码速度。实验表明,SinkState在保持模型准确性的同时,可以将峰值内存减少高达2.6倍,并将解码速度提高高达1.58倍。
-
LLM 量化比较噪声基底测量
研究人员量化了除量化之外的其他因素对大型语言模型决策制定的影响。在将量化模型与其原始版本进行比较时,服务引擎、请求批处理和内核选择的变化会导致高达 0.92% 的决策漂移。具体而言,对于 Cloudflare 的 Clef-flash 和 Clef 模型,4 位量化引入了 3.5% 至 5.8% 的漂移,而非量化因素的贡献小于 1%。研究发现,准确性指标常常掩盖了这些潜在的决策变化,尽管一些 4 位模型的整体准确性变化很小,但性能却显著下降。
-
KV 缓存翻译可实现无缝模型交接,无需重新读取上下文
研究人员开发了一种名为 KV 缓存翻译的方法,使一个语言模型能够无缝地从另一个模型接管对话,而无需重新读取整个历史记录。该技术将源模型的缓存映射到目标模型的格式,从而保留上下文并提高效率。该研究展示了在各种模型架构和规模(包括 MLA 潜在表示、线性注意力状态和稀疏注意力索引器)上成功的 KV 缓存翻译,达到了原生质量,并显著缩短了长上下文的首次令牌生成时间。
-
新的“onóna”技术提高了 Transformer 语言模型的表达能力
研究人员推出了一种名为“onóna”的新型 Transformer 语言模型双表参数化技术,该技术在保持输入输出权重共享的同时,增强了输出的表达能力。该方法通过平均两个嵌入表并将它们的 softmax 分布与 token 条件门结合起来,在各种架构和规模上都显示出验证损失和困惑度的改进。评估表明,onóna 在 12 次比较中有 11 次降低了损失,在 12 次比较中有 10 次提高了下游任务的准确性,并且参数成本略有增加。
-
新的SEED方法优化混合式大语言模型的内存和计算效率
一篇新研究论文介绍了一种名为SEED的方法,旨在优化混合式大语言模型的内存和计算效率。SEED通过使预填充过程在深度上更浅,解码状态在表示上更浅,来解决这些模型处理内存的低效问题。这种方法保持原始模型权重冻结,不压缩注意力缓存,在各种大型生产混合模型的检查点上均显示出近乎无损的性能,并提高了Qwen3.8-Flash-Next等模型的吞吐量。
-
新的Systolic Linear Attention层提升了TPU处理大型模型的性能
研究人员开发了Systolic Linear Attention (SLA),这是一种针对Google TPU优化的新型注意力层。与为GPU调优的现有gated-delta attention层不同,SLA旨在利用TPU的宽矩阵单元,通过重塑注意力机制来提高效率。这种优化使得SLA在TPU v7x上的运行速度显著快于之前的实现,从而缩短了大型Mixture-of-Experts模型的训练时间。
-
新的FlyWheel注意力核将TPU性能提升高达4.14倍
研究人员开发了FlyWheel,这是一组针对Google的Tensor Processing Units (TPUs) 优化的新型注意力核。这些核通过重新设计计算和改进数据布局以最大化矩阵单元利用率,解决了当前TPU实现中的低效问题。FlyWheel在softmax和线性注意力机制方面均展示了显著的加速,性能优于现有的最先进核,并在TPU v6e上实现了峰值BF16吞吐量的高利用率。当集成到vLLM服务框架中用于Qwen3.8-27B…
-
近零嵌入导致门控模型训练停滞;提出新修复方案
一篇新论文发现,门控序列模型(特别是具有非绑定嵌入的模型)存在关键的训练不稳定性。这个问题由近零输入嵌入引起,可能导致极端梯度放大,超出 FP32 限制,并导致训练停滞或梯度归零。研究人员提出了两种解决方案:针对已发布的检查点使用 GroupClip,以分离嵌入裁剪;以及在预训练中使用 GateFloor,以保持正门值。这两种方法都显著提高了稳定性和更新保留率。
-
AI模型将RISC-V CPU集成到权重中,可运行Doom
一位AI工程师已成功将一个32位RISC-V CPU直接集成到Qwen 3.5-4B大语言模型的权重中,创建了一个名为“Qwenputer”的系统。这个实验性模型可以执行算术运算,运行C和MicroPython代码,甚至可以玩Doom游戏,尽管速度较慢。该实现使用模型自身的Gated DeltaNet状态作为RAM,并通过了RISC-V测试,证明了其在没有外部工具的情况下处理指令和执行计算的能力。
-
开发者将GPU嵌入LLM权重以运行CUDA内核
一位开发者创建了qwenGPU,这是一个实验性模型,它将SIMT GPU直接集成到Qwen3.5-2B的权重中。这种新颖的方法允许模型在其自身的前向传播中执行真实的CUDA内核,并使用Qwen现有的Gated DeltaNet和SwiGLU块构建了45个额外的未训练层。开发者报告称,与基础模型相比,文本漂移极小,并声称准确率很高,该模型在多个内核上与真实的NVIDIA Tesla T4相匹配。
-
Flide引擎通过精确状态分叉加速LLM代理决策推理
研究人员推出Flide,这是一种新颖的推理引擎,旨在加速LLM代理系统中的决策过程。Flide将决策请求的逻辑结构与其物理执行分离,从而通过精确算术实现更快的处理。该方法利用GPU驻留索引和预先记录的执行图来导航依赖关系,与vLLM和SGLang等现有引擎相比,速度得到了显著提升。
-
研究发现LLM解码中的功率上限无效
一篇新的研究论文对在大型语言模型(LLM)服务中对GPU进行功率上限设置的有效性提出了质疑,尤其是在自回归解码阶段。研究发现,功率上限对解码能耗影响甚微,因为GPU经常处于空闲状态,等待高带宽内存(HBM)。研究人员建议,锁定SM时钟是减少功耗的更有效方法,同时不会显著降低吞吐量。该论文还指出,与传统的注意力机制相比,Mamba2等循环架构可以在预填充和解码阶段提供节能效果。
-
新的DAMI技术提升了线性注意力模型中的长上下文检索能力
研究人员推出了一种新颖的技术——双轴内存初始化(DAMI),以改进线性注意力模型中的长上下文检索。DAMI侧重于优化控制内存保留的门控参数的初始化,因为实验表明这些参数在训练后与其初始值高度相关。通过联合配置这些参数,DAMI在不同注意力头之间分配不同的检索距离,并调整跨层的输入敏感度。该方法在GDN、KDA、GDN2、Mamba-2和RWKV-7等多种架构上显著提高了检索准确性,且没有引入额外的可训练参数或改变推理过程。
-
Qwenputer 将功能齐全的 RISC-V CPU 嵌入 Qwen 3.5 语言模型权重中
研究人员开发了 Qwenputer,这是一种实验性模型,它将一个功能齐全、确定性的 RISC-V CPU 直接嵌入到 Qwen 3.5-4B 语言模型的权重中。这种新颖的方法利用模型自身的 Gated DeltaNet 注意力层作为 RAM,使其能够在没有外部工具的情况下执行算术运算和运行用 C 和 MicroPython 编写的代码。该 CPU 完全在模型的正向传播中运行,为模型内的计算和存储提供了一种独特的方法。
-
NoteBank 增强了线性注意力模型中的长上下文回忆能力
研究人员开发了一种名为 NoteBank 的新颖技术,以增强使用线性注意力或状态空间架构的语言模型中的长上下文回忆能力。该方法充当一种无需训练的附加组件,存储输入上下文中少量逐字文本片段。当提出问题时,这些存储的片段会被重放给模型,有效地重读相关段落,并在不改变模型核心架构或需要外部组件的情况下,显著提高长上下文任务的准确性。
-
LinMorph 方法学习权重变换以实现高效的视频 DiT 线性化
研究人员开发了 LinMorph,一种用于高效线性化预训练视频扩散 Transformer (Video DiT) 的新颖方法。与之前专注于注意力替换后恢复质量的方法不同,LinMorph 解决了初始化的关键瓶颈。它学习跨参数变形来转换 softmax 到线性的权重,使目标门控 DeltaNet (GDN) 参数能够从多个预训练投影中提取。与随机初始化或启发式权重重用相比,该技术能够实现更快的恢复和更好的生成质量,并且可以在短视频片段…
-
GateSight 优化 LLM 内存,通过预测 KV 缓存效用
研究人员开发了 GateSight,一种优化混合大型语言模型 (LLM) 中 KV 缓存的新颖方法。GateSight 使用轻量级 MLP,根据 Gated DeltaNet 层的信号预测 KV 条目的未来效用,从而实现查询无关的逐出。该方法旨在在不影响准确性的情况下,减少注意力 KV 缓存的显著内存占用。使用 Qwen3.8-27B 和 Qwen3.8-Flash-Next 模型进行的实验表明,与其他的查询无关方法相比,GateSi…
-
ReplaySSM 优化状态空间模型,提升解码速度
研究人员推出 ReplaySSM,一种旨在优化 AI 应用中状态空间模型 (SSM) 性能的新方法。该技术通过将状态视为检查点和近期输入的缓冲区来解决混合模型中频繁的状态输入/输出操作造成的瓶颈。通过定期更新检查点,ReplaySSM 显著减少了内存流量并提高了推测解码效率。在 vLLM 中对 Mamba-2 和 Gated DeltaNet 等模型的实现显示,其速度比标准解码快 1.47 倍,在大模型上的吞吐量接近现有推测解码方法的两倍。