DiffuSpec

DFlash 通过并行起草令牌块来加速 LLM 推理

加州大学圣迭戈分校的研究人员开发了 DFlash，这是一种新颖的推测性解码方法，可显著加速大型语言模型推理。与之前一次起草一个令牌的方法不同，DFlash 使用轻量级块扩散模型并行提出整个令牌块。据报道，与 EAGLE-3 等现有技术相比，该方法在各种模型和任务上实现了超过 6 倍的无损加速，并且在 NVIDIA Blackwell GPU 上对 GPT-OSS 120B 的吞吐量提高了 15 倍。