speculative decoding
PulseAugur coverage of speculative decoding — every cluster mentioning speculative decoding across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
NarrowSpec技术通过减小草稿模型宽度来加速LLM解码
研究人员开发了一种名为NarrowSpec的技术,允许推测解码中的草稿模型以减小的隐藏宽度运行,而不会显著影响性能。该方法在Qwen3-8B和GPT OSS 20B等模型上使用SGLang在Nvidia B200和DGX Spark硬件上进行了测试,速度提升高达1.44倍。研究结果表明,草稿模型的残差流可以有效地以目标模型宽度的一半或四分之一运行,为推测解码提供了一种更有效的方法。
-
Split-KV 方法提高了扩散起草器训练效率
研究人员开发了 Split-KV,一种新颖的上下文并行方法,旨在提高扩散起草器(diffusion drafters)的训练效率。该技术解决了扩散起草器中的负载均衡挑战,扩散起草器使用锚点采样(anchor sampling)来创建用于推测性解码(speculative decoding)的紧凑型起草查询(draft queries)。Split-KV 将键/值分片(key/value shards)保留在本地,并将通信限制在查询大小…
-
新的TVP损失函数增强了推测性解码,以实现更快的LLM推理
研究人员开发了TVP,这是一系列新颖的损失函数,旨在改进大型语言模型的推测性解码。该方法通过优化提议令牌的接受率来加速推理。TVP通过解决梯度消失和前缀饥饿等问题,在现有训练目标(包括交叉熵和DFlash2配方)方面取得了显著改进。
-
Nvidia RTX Spark 笔记本因加密固件导致 Linux 性能问题
Nvidia 的 RTX Spark 笔记本电脑专为 AI 开发而设计,但在运行 Linux 时,由于加密固件限制了 GPU 时钟速度,导致性能大幅下降。Windows 系统允许 GPU 达到 2 GHz 以上,而 Linux 版本将其锁定在约 780 MHz,导致在 1200 亿参数模型上的推理速度从每秒 65 个 token 急剧下降到约每秒 14 个 token。此问题源于 Nvidia 专有的平台控制器和框架,它们负责管理电源…
-
新研究通过先进的推测性解码技术加速 AI 模型生成 · 跟踪 10 个来源
2026 年 11 月在 arXiv 上发表的多篇研究论文介绍了加速大型语言模型推测性解码的新技术。这些方法侧重于优化草稿预测和验证过程,以实现更快的生成速度。创新包括固定预算分配和跨步训练 (FACT)、具有循环 KV 缓存的动态草稿更新 (LoopCache) 以及用于 SVG 生成的扩展验证窗口 (Sightline)。其他方法如 SpecSearch 旨在实现硬件感知优化,而 VisHead-Spec 通过路由视觉注意力来针对…
-
新的投机解码方法优化了混合专家模型
研究人员开发了一种用于混合专家(MoE)模型的新型投机解码方法,重点优化专家字节请求和内核带宽。他们的方法旨在通过在单次验证过程中去重专家调用,而不是单独处理每个 token,来降低计算成本。该研究推导了去重比标准解码更快的理论条件,并在使用 CUDA 和 Metal 等框架的 DeepSeek-V2-Lite 等模型上进行了实证验证。
-
XPress增强了扩散模型的投机解码
研究人员开发了xPress,一种改进扩散草稿器(diffusion drafters)中投机解码(speculative decoding)的新方法。该技术解决了扩散模型中独立采样的token的问题,这可能导致联合概率不高的序列。通过并行恢复草稿token块的因果依赖关系,xPress显著提高了接受长度(acceptance length)和端到端解码吞吐量(end-to-end decoding throughput)。在Qwen3…
-
MoE-SpAc框架提升边缘设备上MoE模型推理效率
研究人员开发了MoE-SpAc,一个旨在提高异构边缘设备上混合专家(MoE)模型推理效率的新型框架。该系统通过预测专家激活需求来管理内存,重新利用了推测解码技术。MoE-SpAc集成了推测效用估计器、异构工作负载均衡器和异步执行引擎,以优化预取和驱逐过程。实验表明,与现有的推测解码基线相比,每秒事务处理量提高了42%,并且与其他标准方法相比速度显著提升。
-
NgramRL通过感知回滚的N元语法推测解码加速LLM训练
研究人员开发了NgramRL,一种加速大型语言模型(LLM)强化学习(RL)训练后阶段的新颖方法。该技术解决了自回归回滚生成的高昂成本问题,该成本可能占训练时间的70%以上。NgramRL利用从近期回滚历史构建的每个提示的N元语法草稿生成器,无需辅助模型或持久GPU状态。自适应扇出预取器通过预测验证结果进一步优化性能,从而在每次前向传播的令牌承诺方面取得显著改进。
-
新的 SPOT 方法通过预测令牌生成顺序来加速扩散语言模型
研究人员开发了一种名为 SPOT(Speculating Positions Order Trajectory)的新方法,以显著加速扩散语言模型(DLMs)。SPOT 通过预测应生成令牌的顺序并并行验证多个候选对象来解决 DLMs 中的速度-质量权衡问题。这种方法将解码所需的模型传递次数减少了多达 6.8 倍,同时保持了准确性,从而在 SDAR-8B 模型上实现了高达 3.4 倍的吞吐量提升。
-
LLM推理优化在Apple Silicon上的表现与NVIDIA GPU不同
一篇新的研究论文评估了常见的LLM推理优化技术应用于Apple Silicon时的有效性,发现为服务器级NVIDIA GPU设计的技术并不总是能有效迁移。虽然KV缓存修剪可以提高Apple设备的吞吐量,但推测解码方法通常会降低性能。研究还指出,一些GPU内核设计无法直接迁移到Apple的Metal框架,并且量化收益在不同的Apple机器上有所不同。研究结果表明,优化效果是技术、运行时、硬件和工作负载复杂相互作用的结果。
-
RIFT 改进了 LLM 中投机解码的 KV 缓存压缩
研究人员推出了一种新颖的 KV 缓存压缩策略 RIFT,旨在提高大型语言模型中投机解码的效率。RIFT 解决了“解码过时”的问题,即压缩方法在长输出生成过程中会失去相关性。通过平衡预填充信息和最近生成的 token,并采用自适应刷新策略,RIFT 在管理解码延迟的同时提高了草稿模型的质量。这种方法结合了可压缩性驱动的训练,使得 Qwen3.5-4B 模型能够为 Qwen3.5-122B 进行草稿,同时在大量输入和输出上保留超过 98%…
-
新研究提高了语言模型推测解码的效率
一篇新研究论文探讨了如何改进推测解码,这是一种用于加速文本生成的技术,在语言模型中得到应用。这项发表在arXiv上的研究调查了目标模型生成的概率分布是否可以被重用,以更有效地选择下一组草稿标记。研究人员发现,通过在当前上下文中用单独计算的分布对第一标记分支进行重新排序,可以提高接受率,尤其是在树预算有限的情况下。这种在树分配之前就可用目标概率的方法,可以带来更快的解码速度。
-
推测解码中草稿训练目标收益递减
arXiv上的一篇新研究论文探讨了大型语言模型推测解码中草稿训练目标的有效性。研究发现,虽然这些目标最初比标准的交叉熵方法显示出收益,但在目标再生后,这些收益会显著减小。这种缩减在各种配置下都持续存在,表明目标收益应与目标再生基线和不同训练长度进行比较。
-
研究发现,推测性解码的收益取决于接受成本
研究人员对推测性解码(一种可以提高语言模型吞吐量的技术)进行了一项对照研究。研究发现,推测性解码的益处高度依赖于接受长度和执行延迟之间的权衡。通过标准化训练和推理条件,研究人员观察到不同方法之间的性能差距显著缩小。他们还发现,可以通过低成本的目标和上下文更改,或成本更高的逐令牌条件设置来改进接受度,最佳方法取决于任务不确定性和服务条件。
-
Specter 系统通过量化和推测卸载加速 MoE 推理
研究人员开发了 Specter,一个旨在加速专家混合(MoE)模型的新型推理系统,这些模型通常会超出单个加速器的内存容量。Specter 结合了量化、推测解码和专家卸载,以克服数据依赖路由引起的 PCIe I/O 瓶颈。通过使用轻量级的量化草稿模型来预测未来的专家需求,Specter 能够主动组织专家的移动和执行,从而提高通信效率。这种方法平均将每个输出令牌的时间速度提高了 1.50 倍,使得在单 GPU 系统上进行 MoE 推理更加可行。
-
投机解码通过改变 GPU 工作负载来加速 LLM
大型语言模型中的投机解码之所以速度快,不是因为它减少了计算工作量,而是因为它改变了 GPU 执行的工作类型。虽然浮点运算的总数可能会增加,但投机解码允许 GPU 变得计算密集型而不是内存密集型。这是通过使用一个较小的草稿模型来提出 token 序列,然后由一个较大的模型并行验证来实现的,从而能够更有效地利用 GPU 资源,尤其是在较低的批处理大小下。
-
新的 SPOT 方法通过预测代币顺序来加速扩散语言模型
研究人员开发了一种名为推测位置顺序轨迹 (SPOT) 的新方法,可以在不牺牲质量的情况下提高扩散语言模型 (DLM) 的速度。DLM 虽然有望实现并行文本生成,但面临速度-质量的权衡。SPOT 通过学习预测代币生成的正确顺序来解决这个问题,这是先前 DLM 推测解码方法所缺失的关键要素。实验表明,SPOT 可以将目标模型传递次数减少多达 6.8 倍,并将吞吐量提高多达 3.2 倍,在各种任务和温度下均优于现有方法。学习到的预测器还展示…
-
研究发现推测解码面临长度膨胀问题
一篇新研究论文发布在arXiv上,题为“接受不等于速度:无训练的失效率性推测解码中的长度膨胀”(Acceptance Is Not Speed: Length Inflation in Training-Free Lossy Speculative Decoding),识别出一种称为长度膨胀的推测解码现象。当放宽(失效率性)验证每轮接受更多token时,会显著延长整体完成时间,常常抵消了明显的提速效果。该研究评估了各种无训练的放宽验证…
-
研究:短上下文起草器无需再训练即可处理200万个标记
一篇新的研究论文提出,语言模型中的长上下文起草不需要专门的长上下文起草器。作者认为,通过冻结现有的短上下文起草器,并在推理时使用机制来管理其注意力缓存和重新定位索引,它们可以有效地将其上下文窗口扩展到两百万个标记。据报道,这种方法在各种目标起草器对和语料库中都保持了投机解码的速度提升优势,而无需对起草器模型进行任何权重修改。