SpecDiff-2

DFlash 通过并行令牌块草拟加速 AI 推理 · 跟踪 2 个来源

加州大学圣地亚哥分校的研究人员开发了 DFlash，这是一种新颖的推测性解码技术，可显著加速 AI 推理。与一次生成一个令牌的传统方法不同，DFlash 使用块扩散模型在单次传递中提出整个令牌块。然后，一个更大的目标模型并行验证这些块，从而实现显著的加速。这种方法在 NVIDIA Blackwell GPU 上对 GPT-OSS 120B 等模型显示出高达 15 倍的吞吐量，对于长上下文推理和编码任务尤其有利。