Multi Token Prediction
PulseAugur coverage of Multi Token Prediction — every cluster mentioning Multi Token Prediction across labs, papers, and developer communities, ranked by signal.
18 天有情绪数据
Further research will focus on mitigating MTP's VRAM overhead and improving acceptance rates
The recent technical blog post highlights MTP's performance issues stemming from low acceptance rates and KV cache thrashing, while another piece notes its increased VRAM demands. Future development will likely prioritize algorithmic improvements to reduce these overheads, making MTP more efficient and broadly applicable.
MTP's VRAM requirements are a significant bottleneck for widespread adoption on consumer hardware
A new MTP technique is noted to accelerate token generation but requires significantly more VRAM. This, coupled with the mention of MTP optimizations on a high-end RTX 3090 Ti, suggests that VRAM limitations will be a primary hurdle for MTP's accessibility and performance on typical consumer-grade GPUs, potentially limiting its impact outside of enthusiast or professional setups.
MTP optimization will be integrated into mainstream LLM deployment frameworks within 6 months
Recent evidence shows MTP being integrated into llama.cpp and Ollama, with performance boosts reported for Qwen models. As MTP demonstrates significant speed improvements for local inference, it's likely to be adopted by other popular LLM deployment frameworks to enhance user experience and efficiency.
-
NVIDIA 发布 Nemotron-Labs-3-Puzzle-75B 以支持 Blackwell 硬件
NVIDIA 发布了其 Nemotron-Labs-3-Puzzle-75B 模型，该模型已针对 Blackwell 硬件上的服务进行了优化。该模型集成了 LatentMoE、Mamba-Interleaving 和 Multi-Token Prediction (MTP) 以提高吞吐量。它在 OpenMDW-1.1 许可下可用，允许商业使用。
-
Qwen 3.6 27B 模型通过多令牌预测 (Multi Token Prediction) 将速度提升一倍
一位 Reddit r/LocalLLaMA 版块的用户分享了他们在运行 Qwen 3.6 27B 模型时使用多令牌预测 (MTP) 的积极体验。他们报告称，实施 MTP 后，每秒令牌数有效地翻了一番，这促使他们寻找其他针对此技术进行了优化的模型。
-
新的投机解码方法将大语言模型推理速度提升高达85% · 跟踪4个来源
研究人员开发了DSpark，一个旨在加速大语言模型（LLM）推理的新型投机解码框架。DSpark结合了用于改进草稿质量的半自回归架构和用于优化系统效率的置信度调度验证。在DeepSeek-V4服务系统中实现时，DSpark与MTP-1基线相比，每用户生成速度提高了60-85%，显著提高了吞吐量，并实现了以前无法达到的性能级别。另一个框架AdaptiveSD通过提供运行时自适应和多策略编排，解决了CPU受限的大语言模型推理问题，确保在各…
-
AI推理技术旨在降低磁盘溢出性能影响
正在探索dSpark、dflash、MTP和QAT等新的推理加速技术，以减轻大型语言模型溢出到磁盘时出现的性能下降。核心问题是，这些进步能否使磁盘溢出的性能影响更加可容忍，从而有可能在功能较弱的硬件上使用更大的模型。早期讨论表明，虽然这些技术提供了速度提升，但它们在使磁盘溢出技术在实际应用中可行方面的有效性仍不确定。
-
新的vLLM流水线统一音频生成与理解
研究人员开发了一种利用vLLM统一音频理解和生成任务的新型推理流水线。该系统解决了高吞吐量多模态生成所面临的挑战，特别是对于采用复杂解码策略（如AR+NAR或多令牌预测）的语音语言模型。该流水线集成了片上声学解码器，用于端到端波形合成，并通过联合调度条件和无条件请求来优化无分类器引导，从而将吞吐量维持在非CFG吞吐量的约80%。
-
Ornith 35B模型通过MTP增强，实现更快的Agentic编码
一位开发者已将多令牌预测（MTP）集成到Ornith 35B模型中，从而增强了其在Agentic编码任务中的性能。据报道，此项修改将推理速度提高了18%，并达到了70%的草稿接受率。该优化模型利用FP8 E4M3量化，设计用于运行在拥有超过80GB VRAM的硬件上，并支持256k上下文窗口，可能应用于统一内存系统。
-
新的MRP技术提高了语言模型的速度和准确性
来自Modal Research和纽约大学上海分校HeavyBall Research的研究人员开发了一种名为多标记残差预测（MRP）的新技术，该技术提高了语言模型的速度和准确性。MRP通过训练一个小模块来预测扩散语言模型中相邻去噪步骤之间的残差差异，而不是预测整个分布。这种方法在静态模式下可以实现高达1.56倍的吞吐量，并且在动态模式下可以恢复在激进的低阈值解码设置中丢失的重要准确性点，同时几乎没有质量损失。
-
Ornith-1.0-35B GGUF 模型通过投机解码嫁接更新
Ornith-1.0-35B 模型的新版本，特别是 GGUF 格式，已通过原生多令牌预测（MTP）投机解码嫁接进行了更新。此次更新将单流解码速度提高了 1.3-1.35 倍，最高可达每秒 233.8 个令牌。该模型保持了 0.073 的低 Kullback–Leibler 散度（KLD），优于 Q4_K_M 量化，并为长上下文场景提供了改进的性能。
-
本地 LLM 优化：Step-3.7-Flash 速度提升 2.4 倍，MTP 破坏视觉
一位开发者已针对本地硬件优化了 Step-3.7-Flash (198B-A11B vision MoE) 模型，取得了显著的性能提升。通过确保模型最大的量化 (IQ3_XXS) 完全驻留在四块 3090 GPU 的 96GB VRAM 中，他们观察到与溢出数据到 CPU 的更高量化 (IQ4_XS) 相比，速度提升了 2.4 倍。此外，开发者发现模型的推测解码功能 (MTP) 与其视觉能力不兼容，在处理图像 token 时会导致硬中止。
-
DeepSeek的DSpark系统通过新颖的并行-顺序方法提升LLM推理速度 · 跟踪1个来源
DeepSeek开发了一个名为DSpark的新系统，可显著加速大型语言模型推理。DSpark结合了并行和顺序处理技术，以提高投机解码的效率，这是一种使用较小模型预测较大模型要验证的后续标记的方法。该方法通过优化GPU内存带宽利用率和降低标记生成成本来提高吞吐量。该系统还包含自适应调度和在线校准，以根据实时工作负载和模型行为调整其性能。
-
量化影响多令牌预测中的LLM草稿率
Reddit的r/LocalLLaMA论坛上的一位用户研究了模型量化如何影响大型语言模型多令牌预测（MTP）中的草稿率。测试使用了Gemma 4-31B-it作为主模型，并进行了各种量化级别（从Q5_K_S到IQ2_M）的测试，同时使用Gemma 4-31B-it-assistant作为MTP草稿器。结果显示，随着草稿深度的增加，所有量化级别下的接受率都会降低，而较低比特率的模型与草稿器的_一致性_略有下降。
-
Google AI 通过新的多令牌预测方法加速设备端 LLM
Google AI 开发了一种新方法来加速设备端大型语言模型（LLM），例如 Gemini Nano 和 Gemma，特别适用于 Google Pixel 手机。这种称为多令牌预测（MTP）的技术，将一个草稿头附加到现有的、冻结的模型上。这使得模型能够同时生成多个令牌，绕过了传统的逐个令牌的瓶颈，并在无需单独、内存密集型的草稿模型的情况下，显著提高了推理速度和能源效率。
-
MTP 功能降低了 Qwen 3.6 和 Gemma 4 模型的输出质量
一位 Reddit r/LocalLLaMA 用户报告称，在使用 MTP（多轮处理）功能时，Qwen 3.6 和 Gemma 4 模型的输出质量显著下降。尽管 MTP 提供了更高的 token 生成速度，但用户发现非 MTP 版本通常用更少的 token 生成了更全面、更有用的代码审查结果。这与 MTP 在不牺牲质量的情况下提供性能提升的普遍认知相悖，促使用户寻求其他人的类似经历。
-
用户寻求帮助测试 GLM-4.7-Flash 模型的 MTP
一位用户正在寻求帮助，以便在 llama.cpp 框架内测试 GLM-4.7-Flash 模型的 Multi Token Prediction (MTP)。他们开发了一个启用了 MTP 的模型版本，并正在寻找拥有必要硬件和技术技能的社区成员来编译 llama.cpp 并测试模型的性能和速度提升。用户已提供 MTP 启用的 GGUF 模型的 Hugging Face 链接以供测试。
-
P-MTP框架通过5倍加速提升VLM文档解析效率
研究人员推出P-MTP，一个旨在显著加速视觉语言模型（VLM）文档解析的新框架。P-MTP采用渐进多令牌预测和渐进课程损失来管理深度前瞻扩展时的优化不稳定性。此外，还使用置信门控动态草稿来优化推理过程中的推测长度，最大限度地减少计算浪费。实验表明，P-MTP在文档解析方面可实现高达5倍的速度提升，同时精度损失极小。
-
HauhauCS 发布了更快的、未经审查的 Gemma 4 模型，支持 MTP
HauhauCS 发布了其 Gemma 4 模型的新版本，包括 26B-A4B 和 31B 变体，这些模型未经审查，并采用多令牌预测（MTP）以提高速度。26B-A4B 模型是 MoE 架构，可提供约 35% 的更快生成速度，而 31B 模型是密集架构，可提供约 53% 的更快生成速度。此外，还发布了一个支持 MTP 的 12B Gemma 4 QAT Uncensored Balanced 模型，速度提升约 60%。这些模型专为创意…
-
新的推测解码方法提高了 LLM 推理速度和安全性
研究人员正在开发先进的推测解码技术，以加速大型语言模型推理。HyperDFlash 针对 DeepSeek-V4 的多超连接架构优化了解码，提高了草稿的准确性和速度。Dustin 通过识别关键标记并减少重新计算来专注于高效的长上下文生成。同时，TAIS 对推测解码的输出进行安全性不变性筛选，发现在温度为零时没有分歧。JetSpec 和 RLM-Cascade 通过结合草稿策略并在响应级别应用推测解码来实现高性价比的 API 服务，提供…
-
用户发现移除 GGML_CUDA_ALLREDUCE 可提升 MTP 性能
一位 Reddit r/LocalLLaMA 社区的用户发现，移除 GGML_CUDA_ALLREDUCE 环境变量显著提升了多令牌预测 (MTP) 的性能。此更改带来了每秒令牌数的明显增加，用户报告称调整后性能从之前的 17-30 范围大幅提升。该用户分享此发现是为了帮助其他在 MTP 中遇到类似性能问题的人。
-
本地27B AI模型优先考虑可用性和稳定性，而非原始速度
作者详细介绍了使用Qwen3.6-27B-GPTQ-Pro-4bit量化版本的本地27B模型设置，重点关注在24GB GPU上进行长上下文编码任务的可用性。该设置优先考虑持续性能和稳定性，而非原始速度，实现了83%的前缀缓存命中率和平均5.7秒的首个token生成时间。作者发现，在单个RTX 3090上，如推测解码和多token预测（MTP）等功能并未提高端到端吞吐量，因此选择了更简单、更高效的配置。
-
NVIDIA 发布高效 Nemotron 3 LLM 系列，采用混合架构
NVIDIA 发布了两款新的大型语言模型 Nemotron 3 Nano 和 Nemotron 3 Ultra，专注于效率和高级功能。Nemotron 3 Nano 是一款 30B 级模型，专为私有推理和代理工作流设计，采用混合 Mamba-Transformer Mixture-of-Experts 架构，并支持高达 100 万个 token 以实现长上下文应用。Nemotron 3 Ultra 是一款 550B 参数模型，采用类似…