arXiv:2609.36173

DSpine 通过并行草稿 token 生成增强 LLM 推理

研究人员开发了一种新颖的大型语言模型（LLM）推测解码方法 DSpine，该方法可以并行生成草稿 token。该方法通过在每一层内相邻位置之间传递预测的前驱特征来提高效率，从而将因果依赖关系传递到网络的深度。该实现使用了具有 16 个块大小和 8192 个 token 滑动窗口的 Qwen3.8-27B 的五层草稿模型，与传统的自回归解码相比，速度得到了显著提升。