研究人员开发了xPress，一种改进扩散草稿器（diffusion drafters）中投机解码（speculative decoding）的新方法。该技术解决了扩散模型中独立采样的token的问题，这可能导致联合概率不高的序列。通过并行恢复草稿token块的因果依赖关系，xPress显著提高了接受长度（acceptance length）和端到端解码吞吐量（end-to-end decoding throughput）。在Qwen3-8B模型上跨各种基准的测试表明，与原始dFlash方法相比，接受长度平均增加了30%，吞吐量增加了1.3倍。 AI
影响 通过增强投机解码技术，提高了大型语言模型的推理速度和效率。
排序理由 这是一篇详细介绍改进AI模型推理效率新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
