DSpark
PulseAugur coverage of DSpark — every cluster mentioning DSpark across labs, papers, and developer communities, ranked by signal.
- 2026-10-31 product_launch Spark AI has released DSpark, a new draft model designed to accelerate inference speeds for their Spark-X2.6-4B model. 来源
- 2026-06-28 research_milestone DeepSeek released the DSpark speculative decoding framework, achieving an 85% boost in generation speed. 来源
- 2026-06-28 product_launch DeepSeek released the DSpark speculative decoding framework to boost AI generation speed. 来源
- 2026-06-27 product_launch DeepSeek and Peking University jointly open-sourced DSpark, a speculative decoding framework that significantly accelerates LLM inference. 来源
- 2026-06-27 product_launch DeepSeek and Peking University jointly open-sourced DSpark, a speculative decoding framework that significantly accelerates AI model inference. 来源
13 天有情绪数据
DSpark's performance boost to be benchmarked against industry standards
With DeepSeek claiming an 80% inference speed boost and an 85% generation speed increase due to DSpark, it is likely that the company will seek to benchmark these improvements against competitors in the AI and semiconductor material sectors to validate their technological advancements.
DeepSeek to leverage DSpark for semiconductor material production efficiency
Given DeepSeek's stated focus on supporting global entrepreneurs in the primary market and its involvement in establishing a full industrial chain for fourth-generation semiconductor materials, it's plausible they will further integrate DSpark to optimize production processes and R&D in this sector.
DSpark update linked to significant inference speed gains in DeepSeek V4
Multiple sources indicate that DeepSeek's V4 model has seen an 80% increase in inference speed following an update to its DSpark system. This suggests a strong correlation between DSpark's capabilities and DeepSeek's performance improvements, particularly in generation speed which is also claimed to be up by 85%.
-
DSpine 通过并行草稿 token 生成增强 LLM 推理
研究人员开发了一种新颖的大型语言模型（LLM）推测解码方法 DSpine，该方法可以并行生成草稿 token。该方法通过在每一层内相邻位置之间传递预测的前驱特征来提高效率，从而将因果依赖关系传递到网络的深度。该实现使用了具有 16 个块大小和 8192 个 token 滑动窗口的 Qwen3.8-27B 的五层草稿模型，与传统的自回归解码相比，速度得到了显著提升。
-
vLLM 0.33.0 引入推测解码验证器以加快推理速度
vLLM 发布了 0.33.0 版本，引入了 FLy，一个可选的推测解码验证器。这种新方法允许接受目标模型可能拒绝的一些草稿 token，可能导致输出质量略有下降，但能提供速度提升。该实现细节在一篇最近的 arXiv 论文中有详细介绍，旨在通过接受语义正确的、超出精确匹配的草稿来提高解码吞吐量，尽管其评估指标和默认配置需要仔细考虑。
-
连续扩散语言模型在生成任务中优于投机式草稿
研究人员比较了连续扩散语言模型（CDLMs）和投机式草稿（speculative drafters）这两种高效语言生成方法的性能。该研究使用 LangFlow 来实现 CDLMs，并改编 DSpark 的架构来实现草稿模型，在没有验证步骤的情况下评估了它们的能力。结果表明，LangFlow（一种 CDLM）在生成困惑度（generation perplexity）和分布相似性（distributional similarity）等指标…
-
新型LLM Spark-X2.6-1.7B在RTX 4090上实现769 tokens/sec
一款名为Spark-X2.6-1.7B的新语言模型已发布，并配备了名为DSpark的配套技术，在单块NVIDIA RTX 4090 GPU上实现了每秒769个token的吞吐量。该性能是在GSM8K基准测试上使用llama.cpp的Q4_K_M量化实现的。DSpark技术通过并行验证多个草稿token，实现了高达2.43倍的BF16精度加速，提高了效率。该模型可在Hugging Face和ModelScope上根据Apache 2.0许可证下载。
-
Spark AI 发布 DSpark 草案模型以加快推理速度
Spark AI 发布了 DSpark，这是一款旨在加速其 Spark-X2.6-4B 模型推理速度的新草案模型。基准测试表明，DSpark 的 BF16 推理吞吐量可提升一倍以上，在 NVIDIA RTX 4090 上可实现高达 2.14 倍的加速，在 Apple M5 Pro 上可实现 2.50 倍的加速。这种性能提升归功于 DSpark 的推测解码能力，它为目标模型并行验证提出多个标记，从而减少了顺序解码步骤。
-
dSpark框架通过优化的Token调度加速扩散语言模型
研究人员开发了dSpark，一个新颖的框架，旨在通过优化生成过程中的Token提交来加速扩散语言模型（dLLMs）。该方法侧重于识别和优先处理那些在揭示时能最有效地减少不确定性并提高后续Token可预测性的Token。通过将这些优化的揭示调度蒸馏到模型中，dSpark在数学推理和代码生成等任务上实现了显著的加速，在保持生成质量的同时超越了现有方法。
-
TensorSharp 添加 MiniMax-M3.1-Flash 支持，在长提示词上超越 llama.cpp
新的推理引擎 TensorSharp 已添加对最近发布的 MiniMax-M3.1-Flash 模型支持。在八个 NVIDIA A40 GPU 上进行的基准测试显示，TensorSharp 的性能显著优于测试过的 llama.cpp 分支，尤其是在处理长提示词时。例如，在 64K 上下文下，TensorSharp 的预填充速度达到 2,567 tokens/秒，比 llama.cpp 的 262 tokens/秒快了近十倍，并将服务器…
-
MiniMax M3.1 Flash 使用 428B MoE 模型将 AI 代理成本降低 70%
MiniMax 发布了其 M3.1 Flash 模型，这是一种拥有 4280 亿参数的混合专家（MoE）架构，旨在显著降低 Agentic AI 应用的成本。该模型通过每个 token 只激活其参数的一小部分来实现这一点，与前代产品相比，成本降低了 70%，速度超过了每秒 200 个 token。关键创新包括用于处理长上下文窗口的 MiniMax Sparse Attention 和用于更快生成的 DSpark speculative…
-
MiniMax M3.1 Flash 开放权重发布，vLLM 提供零日硬件支持
MiniMax 发布了其 M3.1 Flash 模型的开放权重，这是一款拥有 4280 亿总参数和 100 万 token 上下文窗口的多模态混合专家架构。该模型利用 MiniMax Sparse Attention 通过仅关注过去键的相关块来有效处理长上下文。除了权重，vLLM 还为 NVIDIA Blackwell、Rubin 和 AMD MI350 硬件提供了零日支持和优化的内核，显著提高了服务效率和并发性。
-
新技术使 35B MoE 模型能够在 iPhone 上以 20.5 tok/s 的速度运行
研究人员开发了一种名为 Lookahead Expert Scheduling (LES) 的新颖技术，使大型专家混合（MoE）模型能够在移动设备上高效运行。该方法通过预测未来的专家需求并在计算过程中预加载它们，解决了从存储加载专家权重瓶颈的问题。在 iPhone 18 Pro Max 上使用 35B MoE 模型进行的演示实现，实现了每秒 20.51 个 token 的速度，相比基线性能有了显著提升，同时保持了模型准确性并最大限度地…
-
EAGLE-4 优化技术展示出比 DSpark 和 DFlash2 更显著的速度提升
一种名为 EAGLE-4 的新型模型优化技术已发布，与 DSpark 和 DFlash2 等现有方法相比，其速度有了显著提升。早期基准测试显示，EAGLE-4 比原生方法快 3.59 倍，超过了 DFlash2 的 2.80 倍速度提升。目前，EAGLE-4 支持 Qwen 3.8 27B 模型，并有望集成到 llama.cpp 和 vLLM 等流行框架中。
-
DLite 框架通过无历史解码加速 Agentic AI 推理
研究人员开发了 DLite，一种新颖的无历史投机解码框架，旨在加速 Agentic AI 工作负载的推理。传统的投机解码方法在 Agentic 任务中常见的长而变化的上下文中性能会显著下降。DLite 通过重用目标模型的上下文隐藏状态并执行局部投机预测来解决此问题，避免了维护历史上下文的开销。据报道，这种方法结合量身定制的两阶段训练策略，在接受长度方面实现了 2-6 倍的提升，并在各种工作负载上比 DSpark 等现有方法高出 70%。
-
DLite框架通过消除历史上下文来提高代理式AI的推理速度
研究人员推出了一种新颖的无历史记录推测性解码框架DLite，旨在提高代理式AI工作负载的效率。与维护历史上下文的现有方法不同，DLite重用目标模型的隐藏状态进行局部推测预测，显著降低了系统开销。该方法旨在克服在具有长而不断变化的上下文的代理场景中观察到的接受长度下降的问题。实验表明，DLite在接受长度方面实现了2-6倍的提升，并且在性能上比当前最先进的方法DSpark高出70%。
-
新的ReaDy方法通过循环状态提高了LLM的草稿速度
研究人员推出了一种新颖的大型语言模型推测解码方法ReaDy，该方法利用混合线性注意力（HLA）模型的循环状态。这种方法通过允许每个草稿位置查询并整合来自模型已提交循环状态的补充上下文来提高草稿效率。在NVIDIA B200 GPU上使用Qwen3.8-27B模型在数学、代码生成和对话基准测试中进行了测试，ReaDy在标准自回归解码方面平均实现了3.16倍的速度提升，在吞吐量和接受长度方面优于现有的DSpark方法。
-
JetSpec++论文介绍通过推测性解码加速LLM推理
研究人员开发了JetSpec++，这是一种新颖的推测性解码方法，可显著提高大型语言模型的速度。通过采用块内自精炼和块间前瞻性草稿，JetSpec++在传统自回归解码方面可实现高达7.45倍的速度提升。该方法允许在当前块完全验证之前草稿新令牌块，从而有效地重叠草稿和验证阶段以最小化实际运行时间成本。在GB200硬件上进行测试，JetSpec++在各种基准测试中实现了每秒1,361个令牌的吞吐量，平均接受长度接近九个令牌，同时保持目标模型的输出分布。
-
ReaDy方法使用混合线性注意力加速LLM生成
研究人员开发了ReaDy，一种新颖的推测性解码方法，它利用混合线性注意力循环状态来提高自回归生成的速度。通过从这些状态中检索特定于位置的上下文，ReaDy提高了生成速度和接受率。在NVIDIA B200 GPU上使用Qwen3.8-27B模型在七个基准测试中进行了测试，ReaDy实现了比标准自回归解码平均3.16倍的解码加速，并在吞吐量和接受长度方面优于DSpark方法。
-
推测性解码将 LLM 推理速度提升高达 5 倍
推测性解码是一种通过让一个更小、更快的模型一次草拟多个 token 来显著加快 LLM 推理速度的技术，然后由更大的模型一次性验证这些 token。这种方法在数学上是精确的，不会造成质量损失，根据草拟模型的准确性和草拟的 token 数量，可以实现 2 倍到 5 倍的速度提升。EAGLE 和原生多 token 预测 (MTP) 架构等进步正在不断提高草拟模型更准确地预测 token 的能力，从而进一步提高推理速度。
-
新方法通过推测性解码加速大语言模型推理 · 跟踪10个来源
研究人员正在开发新的方法，通过推测性解码来加速大语言模型（LLM）的推理。这些技术包括使用一个轻量级的“草稿”模型并行生成多个标记，然后由一个更大的“目标”模型进行验证。S$^3$R、DCOCO 和 Nucleus Speculative Decoding 等新方法旨在通过优化验证过程、恢复上下文依赖关系或允许更灵活的接受规则来提高效率。一些方法还探索分析 LLM 的隐藏状态以更好地选择用于验证的层，而另一些方法则侧重于防御会降低推测…
-
新方法提高 LLM 的推测解码效率 · 已追踪 10 个来源
多篇研究论文介绍了增强大型语言模型 (LLM) 推测解码的新方法，旨在提高效率和准确性。DRelay 专注于使用全局上下文修复并行草稿中的早期选择错误，而 DEdit 提出对草稿进行迭代编辑以纠正错误并扩展已接受的前缀。UBTree 结合了 unigram 和 bigram 模型来创建多样化的草稿树，而 LongSpark 开发了一种独立于前缀长度的固定成本并行草稿器。其他方法，如 SEED 重用已验证的上下文表示以加快草稿速度，HA…
-
DeepSeek V4.1 Flash 模型在 M3 Ultra 上实现大幅加速
一位开发者已为 Apple 的 M3 Ultra 芯片优化了 DeepSeek V4.1 Flash 模型，显著提升了其性能。这些优化细节在 GitHub 仓库中公布，提高了解码速度，降低了延迟，并增强了投机解码能力。这些改进使得模型能够处理更大的上下文并更有效地执行代理轮次，正如一次处理超过 100,000 个 token 的 91 分钟代理交互所示。